Au début du 18e siècle, la "masure de Brébec" qui apparaît sur le plan et le registre terrier de l'abbaye de Saint-Wandrille, paroisse de Rançon, appartenait à Gaspard Deschamps.

Des peintures murales, présentes à l'intérieur de l'habitation, peuvent être datées du milieu du 18e siècle.

Au milieu du 20e siècle, la ferme de Brébec était une ferme moyenne d’environ 8 hectares répartis entre terres cultivées et herbages ; 3 ha ont été engloutis par la construction du Pont de Brotonne et de la route qui y mène entre 1971 et 1977 (transmission orale). Exploitée par la famille Baron entre 1927 et 1960, elle était alors la propriété de la famille Boitard, également propriétaire du manoir de Rétival à Caudebec-en-Caux. Transmise par héritage familial au maire de Caudebec-en-Caux, Maurice Collet, elle fut ensuite connue sous le nom de "maison Collet".