En 1851, l'évêque de Sées, Monseigneur Rousselet, charge l'abbé Duguey de fonder un collège religieux. L’établissement compte à ses débuts soixante élèves, et prend de l’importance au cours du XIXe siècle. Des personnalités comme André Breton ou Fernand Léger ont étudié dans cet institut. La chapelle Sainte-Marie est construite entre 1862 et 1865 à la demande du révérend Père Alphonse Tillier. Les plans sont réalisés par l’abbé Robert, doyen du chapitre métropolitain de Rouen. En 1904 la loi interdit l’enseignement par les congrégations religieuses, le collège est fermé. Un ancien élève de l’institut, Pierre Fortin, rachète l’établissement en 1908 pour y installer une chocolaterie dans l’aile ouest. Il laisse l’aile est pour la création d’une école libre. Pendant la Première Guerre mondiale, la chocolaterie et la chapelle Sainte-Marie sont transformées en hôpital militaire. En 1919, l’aile ouest est détruite par un incendie. En 1921, l’usine reprend son activité dans l’aile est. La chocolaterie existe encore aujourd’hui. L’institut rouvre en 1953 sous le nom « Association Espérance et Vie ». L’ancien collège est remplacé par un lycée professionnel et technique installé dans de nouveaux bâtiments construits à l'emplacement de l'aile ouest qui avait brulée. Le lycée ferme en 2011, les bâtiments et la chapelle Sainte-Marie reviennent alors à la mairie. En 2016, l’association diocésaine de Sées acquiert la chapelle Sainte-Marie, son parvis, et deux annexes pour un euro symbolique. Les autres bâtiments de l'aile ouest sont aujourd’hui utilisés par les services techniques de la ville. C’est l’association de Sauvegarde de la chapelle Sainte-Marie qui s’occupe de l’activité cultuelle et des petits travaux d’entretien.