Sous l’Ancien Régime, Pont-Audemer compte quatre cimetières attenant aux quatre églises paroissiales. Celui de saint Ouen s’avère trop petit et la ville en ouvre un second, en 1741, sur un terrain situé dans la portion du fossé entre la porte de Bernay et le bras sud de la Risle. Mais ce nouveau lieu de sépulture, mal perçu par les habitants, subit régulièrement des inondations et, dès 1765, on préfère enterrer, dans la mesure du possible, dans le cimetière de Saint-Germain. La suppression, à la suite de la Révolution française, des paroisses de Saint-Aignan et Notre-Dame-du-Pré entraîne la fermeture des lieux de sépulture. Il subsiste, au début du XIXe siècle, alors que le manque de place est toujours réel, le cimetière déjà saturé de Saint-Ouen et celui de Saint-Germain qui dépend dorénavant de la commune de Saint-Germain-Village.

La création d’un nouvel emplacement devient une priorité : la ville acquiert en 1810, à Saint-Germain-Village, côte de la Justice, le terrain nécessaire à la constitution d’un cimetière. Les murs de clôture sont construits en 1818 d’après les plans de l’entrepreneur Pierre-Aimé Leloutre : mur de bauge et silex, recouvert en ardoise. Le site devient rapidement trop petit et une parcelle attenante est achetée en 1859. De nouveaux murs sont érigés et le plan du cimetière avec les chemins d’accès et les divisions est arrêté en 1861. L’année suivante, la maison du gardien est construite en brique : elle doit être séparée du cimetière par une clôture et surtout être établie dans un endroit élevé pour pouvoir effectuer « une surveillance active, nécessaire et efficace ».

Les divisions situées à proximité de la maison du gardien regroupent les ensembles les plus significatifs. Au sud-ouest de la bâtisse, sur une parcelle de forme triangulaire, sont enterrés les édiles et personnalités de la ville, dont Alfred Canel (1803-1879), Paul Herpin (1865-1935) ou encore Stanislas Delaquaize (1789-1871), fondateur de la caisse de secours de Pont-Audemer. À la mort de ce dernier en 1871, la municipalité fait élever un monument rendant hommage à son action. La sépulture porte la signature du sculpteur et entrepreneur Bosquier, à l’origine de plusieurs autres monuments du cimetière dont le monumental tombeau de la famille Giraud dessiné par l’architecte Leclercq. Le portrait en médaillon de Delaquaize est réalisé à partir du modèle conçu par le sculpteur Blard. Un peu plus loin dans l’allée, quelques sépultures attirent l’œil par la qualité de leur exécution. C’est le cas pour la tombe de style néogothique réalisée par le sculpteur Cyprien Sevestre.

Au nord et à l’ouest de la maison du gardien sont regroupées les sépultures militaires : 27 tombes des soldats du Commonwealth de la Seconde Guerre mondiale, les militaires originaires de Pont-Audemer tombés au front des guerres du 20e siècle et enfin les sépultures et le monument des 18 résistants du maquis de Surcouf. Outre la croix de cimetière dessinée par l’architecte Dupuis et érigée en 1861 par l’entrepreneur Levavasseur, deux monuments aux morts de 1870-1871 commandités par le Souvenir français ont été placés l’un à l’entrée du cimetière, l’autre dans la parcelle des soldats français.