Les ruines du « vieux château » de Vatteville se trouvent au sud du village, à proximité de l’ancienne rive de la Seine et le long de la voie romaine reliant Pont-Audemer à Caudebec-en-Caux. Le château à motte, bien visible depuis le fleuve, était alors une place-forte stratégique.

Le premier château comtal (fin du 11e siècle-1124)

L'édifice primitif, entouré d’une palissade en bois, a été construit à la fin du 11e siècle, après la cession par le duc Guillaume de la forêt de Brotonne à Roger de Beaumont (vers 1015-1094). Construit sur un plan rectangulaire de 20 m de long sur 10 de large, il s'élevait sur un soubassement dont l'appareil, en arêtes de poisson, est en partie visible. Hormis ces quelques traces, des éléments de décor, utilisés en réemploi lors des phases suivantes, montrent la richesse de l'ornementation de cette première demeure.

Le château était alors aux mains de la famille des Beaumont-Meulan qui joua un rôle politique important à la cour du roi d’Angleterre. Robert de Beaumont (vers 1046-1118), combattant de la bataille d'Hastings, devenu comte de Meulan par sa mère, transmit le château à son petit-fils Galeran en 1118. Toutefois entre 1123 et 1124, celui-ci prit part, aux côtés de barons normands, à la conspiration de la Croix Saint-Leufroy visant à porter sur le trône ducal, Guillaume Cliton (1102-1128), fils du duc de Normandie Robert Courteheuse, au détriment d’Henri Ier Beauclerc (roi d’Angleterre, de 1100 à 1135) qui vint traquer les conjurés à Pont-Audemer, Monfort-sur-Risle, Vatteville et même Brionne. Mais la forteresse de Vatteville était si solidement fortifiée que les troupes royales durent, pour l’assiéger, élever face à elle un contre-château. Dans son Histoire de la Normandie, Orderic Vital relate un épisode du siège où le chef des opérations fut extirpé par des crocs en fer : « Comme Gautier, fils de Guillaume de Valliquerville, que le Roi avait mis à la tête des gardes couvert de sa cuirasse et debout sur le retranchement, défendait vivement les palissades du camp, une main artificielle le saisit de ses crochets de fer, l'attira sans pitié, et l'amena prisonnier. » (T. IV, p. 390-391). Galeran, ayant réussi à prendre la fuite lors cette diversion, fut intercepté au sud de la forêt de Brotonne puis emprisonné à Rouen. Tous ses biens furent confisqués et le château de Vatteville fut rasé.

Le second château comtal (1140 env.-1204)

Libéré après la mort de Guillaume Cliton en 1128, Galeran rentre progressivement en grâce, retrouvant d’abord ses terres, puis faisant reconstruire ses châteaux. C’est à lui que l’on doit le château de Vatteville tel qu’il se présente de nos jours, composé de deux parties : un donjon polygonal posé sur une motte peu élevée (partie militaire) et un vaste logis édifié dans la basse-cour attenante (partie résidentielle). En 1154, Galeran ajoute à cet ensemble une chapelle dédiée à Notre Dame qu’il place sous le patronage de l’abbaye de Fontenelle. Le château reste aux mains des comtes de Meulan jusqu’à la conquête de la Normandie par Philippe-Auguste (roi de France, de 1180 à 1223).

Le château royal (1204-16e siècle)

À partir de 1204, le château est occupé par des gouverneurs qui en assurent la garde et le fonctionnement. De 1368 à 1379, elle est confiée à Jean des Berguettes, chambellan de Charles V (roi de France, de 1364 à 1380). Au début du 15e siècle on y réunit la « cohue » (tribunal) et on y jette les prisonniers. Des travaux sont effectués sur le pont-levis mais le château est abandonné à la fin de la guerre de Cent Ans. « Bien pourvue d’ornements », la chapelle continue à être utilisée jusqu’au milieu du 16e siècle alors que le château est en ruine.

En 2017, le don de la motte féodale par la famille Thieulent est venu s'ajouter à celui de la basse-cour, offerte à la commune de Vatteville-la-Rue en 1987 par la famille Hulin. L'ensemble du site ayant été inscrit au titre des Monuments Historiques en 1996, la commune a confié en 2018 au Groupe Archéologique du Val de Seine (GAVS) le projet d'étude scientifique, de sauvegarde et de mise en valeur du château et de ses abords. Une application numérique, accessible sur place, propose une restitution du logis tel qu’il se présentait au 15e siècle.

Une haie d’essences locales a été plantée à l’entrée du site et des bornes pédagogiques sont installées le long du sentier d’interprétation.