Sous l’Ancien Régime, la ville de Pont-Audemer compte quatre paroisses. Trois dépendent du diocèse de Lisieux : Saint-Ouen, Saint-Germain et Notre-Dame-du-Pré. Seule la paroisse de Saint-Aignan, située sur la rive droite de la Risle, dépend de celui de Rouen. Les églises sont toutes attestées dès le milieu du 12e siècle et témoignent du dynamisme de la ville. La plus importante, l’église Saint-Ouen, est située sur la rue de la République, alors voie principale de circulation et de marché. Elle est aujourd’hui le seul édifice religieux conservé à Pont-Audemer, les églises Notre-Dame et Saint-Aignan ayant été détruites au 19e siècle, l'église Saint-Germain appartenant quant à elle à la commune de Saint-Germain-Village, depuis sa création au début du 19e siècle.

Notre-Dame-du-Pré, deuxième église de la ville jusqu’au 18e siècle, était située dans la rue du même nom. Elle est mentionnée en 1135 en tant que lieu de culte et en 1169 en tant que paroisse. Sa position et son vocable laissent supposer une implantation primitive hors les murs. Il se peut également que l’édifice ait été entouré, à l’intérieur des remparts, de parcelles vides dont l’urbanisation s’est faite ultérieurement. L’église s’étendait jusqu’à la rue avec une nef plus tardive construite sur un canal qui se poursuit dans le cimetière au nord de l’édifice. Il débouche dans le fossé de la ville et réclame un curage régulier. Vendue et désaffectée à la Révolution, l’église est presque entièrement détruite. Les vestiges, deux travées et le portail, ont été démolis vers 1890. L’édifice était orné de chapiteaux avec un décor sculpté de godrons ou d’oiseaux.

L’église Saint-Aignan, située dans le faubourg du même nom, longeait le chemin qui mène à Quillebeuf. D’origine romane (la première mention de son existence date de la première moitié du 12e siècle), l’édifice a été vendu ainsi que le cimetière en 1798 et détruit au début du 19e siècle.

Pont-Audemer abritait jusqu'à la période révolutionnaire quatre couvents : les Carmes, les Cordeliers, les Carmélites et les Ursulines, dont il ne subsiste aujourd'hui aucun élément. L'établissement des Carmélites est autorisé en janvier 1642 par l'évêque de Lisieux Philippe de Cospéan. A l'origine, les religieuses occupent une demeure appelée la maison Gaillardbois située rue aux Moutons (actuellement rue Gambetta) près de l'hôpital. En 1660, elle est échangée contre un domaine situé derrière la halle donnant sur la rue actuelle des Carmélites. Dès 1661 commence l'édification de nouveaux bâtiments, l'existant se révélant insuffisant. En 1684, une requête est déposée pour obtenir trois lignes d'eau de la fontaine du Pilory (actuelle place Victor-Hugo) et pour enfermer dans l'enclos la portion de rempart située à l'arrière de la propriété. La ville donne son accord pour les conduites d'eau à condition que les religieuses fassent à leur frais le canal depuis la fontaine jusqu'à leur demeure. De même, l'annexion de la portion de rempart est autorisée avec passage possible des gens de guerre (accord donné par le duc de Gesvres, capitaine-gouverneur de la ville). A la fin du 18e siècle, le couvent occupe une superficie de 66 perches (maison conventuelle, chapelle, cloître et jardin). Après la Révolution, les bâtiments abritent un ensemble d'institutions civiles : le palais de justice, la prison, la sous-préfecture, la chambre de commerce et la gendarmerie. Une partie des édifices est bombardée en 1944 et nécessite de très gros travaux de réparation. Désaffectés en 1954 puis démolis, ils font place en 1962 à une habitation à loyer modéré. Seuls restent visibles, en bordure du parking dont l'entrée se situe rue Canel, des vestiges de murs de l'établissement.

Le couvent des Ursulines est le dernier établissement installé à Pont-Audemer. Les religieuses souhaitaient reprendre l'ancien bâtiment dit Gaillarbois laissé libre par les Carmélites en 1660 mais la municipalité s'y oppose en 1662. L'installation de cet ordre religieux n'est accepté que si l'emplacement choisi se situe hors les murs. Le couvent est établi en 1665 dans une maison située place Royale, à l'entrée du faubourg Saint-Germain. Le bâtiment a subi au cours du XVIIIe siècle de nombreux agrandissements par acquisition de terrains avec biens fonciers. En juin 1673, la ville reconnaît la fondation du couvent : rente, bâtiment en bon état et bien meublé, une chapelle garnie d'ornements, linge, calice, bassin et burettes, deux grands chandeliers en argent. En 1789, le couvent compte 25 religieuses, 2 postulantes, 2 tourières et un chapelain.

Sur ces huit édifices présents sous l'Ancien Régime, cinq se situaient dans l'enceinte de la ville et marquaient fortement le paysage et l'espace urbain, tant par la taille des parcelles occupées que par l'ampleur des bâtiments et le nombre de religieux présents. Les couvents intra-muros représentaient pratiquement 15% de la surface urbaine. Cette forte emprise foncière peut en partie expliquer le refus de la ville de voir s’installer d’autres ordres dans la cité. En effet, à la fin du 18e siècle, les bénédictines puis les capucins ont souhaité fonder eux aussi des établissements, mais le conseil de ville s’y opposa de manière forte, arguant du préjudice déjà important que représente l’emprise foncière tombée en « mainmorte » dans les communautés monastiques. Si trois couvents sont intra-muros, ce n’est pas, comme souvent, par extension du territoire clos mais parce que l’on a décidé de leur implantation dans les murs, sur des terrains non urbanisés aux abords des remparts. Outre leurs bâtiments conventuels, les différents ordres possèdent sur le territoire de Pont-Audemer un ensemble de biens fonciers et immobiliers, ce qui augmente sans doute la réticence de la ville.