Du fait de sa proximité géographique avec l'église et de sa qualité architecturale, cette propriété est désignée comme l'ancien presbytère de la commune bien que cette fonction ne soit attestée par aucun document d'archives. La location d'un logement au desservant de la paroisse n'est connue qu'à partir du début du 20e siècle, époque à laquelle une partie de la bâtisse abritant la mairie actuelle de Vieux-Port fut dévolue à l'usage de presbytère. Dans des documents conservés aux archives départementales, des travaux sont mentionnés entre 1881 et 1885 (réparation du presbytère et reconstruction des clôtures attenantes par par M. Louis Dehayes, entrepreneur de maçonnerie à Trouville-la-Haule, sous la direction de M. Perrée, architecte à Pont-Audemer), sans que l'on ne sache toutefois si ces travaux concernent cet édifice ou l'actuelle mairie.

Visible sur le cadastre napoléonien de 1824, la construction de cette demeure peut dater du début du 18e siècle. Elle aurait appartenu à un vice-amiral (tradition orale), ce que pourrait conforter sa similitude avec la propriété dite ferme de l'Amirauté, étudiée sur la commune voisine de Vatteville-la-Rue.