Le bâtiment est bâti vers 1770. Les boiseries de la fin du 18e siècle, qui étaient encore visibles en 1935, ont disparu. Le premier étage est souligné par un balcon filant face à la Seine, muni d'une balustrade en fer forgé au centre de laquelle figure un écusson rond orné des trois lys des armes de France et portant en exergue : "Poste Royal" (sic). Les écussons des deux panneaux de ferronnerie qui flanquent le panneau central présentent les initiales "VDP" entrelacées. Un acte notarié de 1793 précise que le Maître de Poste de la Mailleraye était le citoyen Victor Duvrac. Son fils, Guillaume, Jacques, Philippe Duvrac, possède encore l'immeuble en 1844. Les dates 1770 et 1790 figurent également sur ce balcon. Elles pourraient signaler la date de construction et la date de réalisation du balcon, voire de premières modifications. Une partie des anciennes dépendances, servant autrefois d'écuries et de remises pour les diligences et les malles poste, sont localisées sur la parcelle voisine.

D'après "L'Almanach des Postes" publié en 1754 par Guyot, commis des Postes, le relais de poste de La Mailleraye se trouvait sur la route reliant Lisieux à Yvetot, au pied du passage d'eau assurant la liaison entre les deux rives du fleuve. Le relais a probablement perdu sa fonction dans le courant du 19e siècle avec la concurrence du chemin de fer. Un bureau de distribution du courrier postal, dépendant de celui de Caudebec-en-Caux, est créé à La Mailleraye en 1820. En 1935, l'ancien relais de poste était la propriété d'un notaire. Il fut ensuite la propriété d'un docteur tandis qu'une pharmacie, visible sur la photographie de 1974, occupait le rez-de-chaussée de la propriété mitoyenne.

Restauré en 2014, le bâtiment dispose d'une surface totale de plus de 350 m² habitables et compte 10 pièces réparties sur trois étages, dont plusieurs équipées d'une cheminée.