Le petit séminaire est construit en 1877 d’après les plans du chanoine Louis Féret afin de remédier au manque de place des locaux de la rue Jules-Ferry (le site situé sur la commune de Saint-Germain-Village est rattaché en 1932 à la ville de Pont-Audemer). Les bâtiments, édifiés au milieu d’un vaste terrain, sont tout à fait représentatifs de l’architecture scolaire de l’époque et peuvent être mis en perspective avec l’école municipale édifiée la même année rue Stanislas-Delaquaize par l’architecte Leclercq.

L’installation de l’hôpital en 1927 n’engendre ni la destruction ni la modification structurelle des bâtiments du 19e siècle, même si de nombreux travaux sont nécessaires pour adapter les lieux aux nouvelles fonctions. En revanche, entre 1929 et 1935, les pavillons de l’économe, des tuberculeux et des contagieux sont construits sur les terrains libres par l’architecte rouennais René Anquetin. Les travaux de rénovation et de construction sont en partie financés par la vente des bâtiments de l’ancien hospice. Le centre hospitalier de Pont-Audemer fait d’abord l’objet de travaux de modernisation et de construction de nouveaux bâtiments dans les années 1970, puis en 2012-2013 de restructurations, notamment l’implantation d’une galerie vitrée en métal.