Placée sous le patronage de l'abbaye de Fontenelle, la première église fondée aux sources de la rivière de Caillouville, fut ruinée puis relevée en 1331 par le sacristain du monastère, Guillaume Follet. La voûte de la nef, effondrée en 1631, fut alors reconstruite. L'église, vendue à la Révolution, est détruite à partir de 1792. On y baignait les enfants malades dans une fontaine de dévotion.

A. Dessaux, maire de Saint-Wandrille-Rançon :

"La chapelle de Caillouville portait le titre de chapelle royale, parce qu'elle avait été dotée par deux rois de France, Jean Le Bon en 1351 et Louis XI en 1474. Au 18e siècle, la longueur de cet édifice s'évaluait à 35 m. Le clos, la fontaine et la ferme de Caillouville, vendus le 6 thermidor an IV par l'administration centrale, furent achetés 25 000 francs par Lhérondel, ancien fermier de l'abbaye qui ne tarda pas à démolir la chapelle (...). En 1825, la chapelle avait été détruite mais il restait une foule de débris au sol. Quelques statues se trouvaient disposées ça et là. Le fils de Lhérondel, Georges François, revendit la propriété à Charles Vacquerie le 24 novembre 1827 (négociant à Villequier). Le 29 octobre 1952, on ne distingue plus la moindre trace de saints ni de chapelle, seul un calvaire indiquait l'endroit où se trouvait l'ancienne église."

Sur la source miraculeuse de Caillouville, lieu de pélerinage à Notre-Dame de Liesse (ou Notre-Dame des Nerfs) : "La légende raconte que la lance du garde des forêts Betton, voulant frapper Saint-Wandrille, s'enfonça profondément en terre aux pieds de celui-ci et la source se mît aussitôt à couler. En souvenir de cet événement, Saint-Wandrille fit construire à proximité de la source, une chapelle dédiée à la Vierge sous le vocable de Notre-Dame de Caillouville. Elle est nommée dans le peuple "Notre-Dame des nerfs" mais autrefois c'était "Notre Dame des Neiges" (...). Cette fontaine sacrée de Caillouville, célèbre dans tous les pays et visitée chaque année par une foule de pèlerins, était entourée de murs. Une fois dans l'enceinte, on pouvait voir une mare enfermée dans un carré de maçonnerie et séparée en deux portions au moyen d'une planche. Deux escaliers en pierre permettaient de descendre jusqu'à l'eau : l'un était réservé aux hommes, l'autre aux femmes. Mais c'était surtout les enfants qu'on venait baigner à Caillouville pour la lèpre. Les grandes personnes s'y rendaient également tous les vendredis de mai et surtout le premier. (...) C'est au cours du mois de juin 1973 que des travaux de nivellement ont fait disparaître l'enclos et le bassin de la source." (...) La fête de Caillouville est toujours célébrée le lundi de Pâques ; l'origine de cette fête remonte à la procession que l'on effectuait alors en ce lieu".