Cette maison est construite en 1850 par la mère d'Alfred Canel sur l'emplacement de deux habitations plus anciennes. L'érudit, historien et archéologue, la lègue par testament à la ville de Pont-Audemer afin d'y réaliser une bibliothèque publique. Dans ce legs, délivré le 3 avril 1879, le bâtiment fait l'objet d'une description : au rez-de-chaussée un salon, une petite salle à manger, une grande salle à manger, un vestibule, une cuisine, un office, un bûcher et une cave. Au premier étage un vestibule, trois chambres, une bibliothèque, un cabinet de toilette, au second étage trois chambres et une lingerie, au dessus greniers avec terrasse formant le toit.

Le chantier entrepris par la municipalité débute en 1881 avec les travaux de ravalement, ragréement et sculptures de la façade réalisés par l'entrepreneur Dufraisse (date portée). Un buste en bronze représentant Canel réalisé par le sculpteur Théodore Blard orne la façade à partir de 1882 (inauguration fin 1882). Cette même année débute l'étude (architecte Albert Leclercq) et l'aménagement intérieur de la maison afin d'installer au rez-de-chaussée la bibliothèque (menuisier Emile Lelièvre). Un projet d'édification d'un musée au premier étage voit le jour en fin d'année, les travaux démarrent en février 1883 (entrepreneur de maçonnerie Théodule Vauquelin). La réception définitive des travaux des deux entrepreneurs a lieu en juin 1886.

Dans une délibération du 5 juillet 1907, la municipalité décide la réalisation d'une cuisine à l'usage du bibliothécaire (le logement attribué à ce dernier, situé dans l'aile en retour, ne comprend au rez-de-chaussée qu'une seule pièce servant à la fois de cuisine et de salle à manger). En accord avec la commission des travaux, une partie du jardin est prise pour la construction de l'édifice. L'architecte Linant, chargé du projet, propose un plan avec un devis se montant à 1220 francs. Ce dernier est adopté à l'unanimité par le conseil municipal. Le 26 octobre 1907, la commission des travaux se rend à la bibliothèque pour la réception définitive des travaux.

Dans le cadre de la restructuration du centre ville avec réaménagement du centre ancien, la façade sur rue du bâtiment fait l'objet d'une restauration (architecte Ratier) à partir de 1978. Un nouveau buste de Canel (le premier ayant disparu lors de la Seconde Guerre mondiale) est réalisé à partir du moulage en plâtre d'origine. Également en bronze, il est réalisé par l'entreprise Bocquel au cours de l'année 1979. La cour Canel faisant également l'objet d'une remise en état, il est décidé, la même année, de la suppression de la petite pièce servant de cuisine. L'entreprise Gaudu est chargée de la détruire et de refaire une porte. A partir des années 1980, se pose la question de la restauration et de la restructuration complète de la bibliothèque et du musée devenus vétustes. Le projet définitif de réhabilitation et d'agrandissement du musée est adopté en juillet 1997. Il est l’œuvre de l'architecte Philippe Prost qui propose une remise en valeur du bâti 19e siècle ainsi qu'une extension du bâtiment sur cour. Les pièces du rez-de-chaussée et du premier étage sont restaurées en leur donnant leurs dispositions d'origine : hall d'entrée et bibliothèque au rez-de-chaussée, salle du musée à l'étage, bibliothèque personnelle et bureau de Canel. La façade sur rue est conservée. L'extension intervient uniquement sur le bâtiment sur cour.