Le toponyme médiéval « haye » signifie la clôture et par extension la portion de forêt que se réservait le seigneur pour la chasse et la fourniture du bois. Le village de La Haye-Aubrée conserve des liens profonds avec la forêt domaniale de Brotonne avec laquelle il communique au nord de son territoire : route de la lisière, rue du bois...

Le nom du village est hérité de Auberée de La Haye, qui avait épousé d'Onfroy de Vieilles en 1035, sire de Pont-Audemer, et avec lequel elle a fondé deux abbayes à Préaux (au sud de Pont-Audemer) : Saint-Pierre pour les hommes, Saint-Léger pour les femmes. L'abbesse de Préaux a conservé le droit de présentation à la cure de l'église Saint-Léger jusqu'à la Révolution française.

Malgré l’implantation d’une imposante mairie-école, bâtie entre 1889 et 1892 à l’écart du village, le petit bourg de La Haye-Aubrée concentré autour de l’église Saint-Léger, de son ancien presbytère et de quelques logis en pan de bois, n’a pas connu d’extension notable.