Au moment de la déclaration royale du 10 mars 1776 demandant l'arrêt des inhumations dans les églises et le report des cimetières extra-muros, la paroisse Saint-Pierre, la plus peuplée et la plus vaste de la ville, compte trois cimetières : le plus ancien le long de l'église, celui des Carmes qui n'est alors plus en usage et le cimetière Buquet, déjà hors les murs mais insuffisant pour absorber les deux cents inhumations par jour. La mise en conformité avec les arrêts du Parlements de Rouen de 1780 prend du retard ; toutefois, l'arrêt faisant règlement pour les cimetières de la ville de Caen du 3 Juin 1783 précise qu'il a été fait l'acquisition d'un terrain auprès des religieuses de l'abbaye aux Dames au bout du faubourg du Vaugueux, qui doit être entouré de murs de quatorze à seize pieds (entre 4 et 5 mètres). L'abbé Claude Nicolas Mery de Berthenonville, doyen du Saint Sépulcre procède à la bénédiction solennelle du nouveau terrain le dimanche 14 septembre 1783. Le lendemain est inhumé le corps d'un enfant de deux ans.

Sur l'Atlas de la ville de Caen de 1817, le cimetière Saint-Pierre est partiellement figuré le long du chemin de Couvrechef pour apparaître plus clairement sur le cadastre napoléonien, (Section A2 de la Folie, n°537) avec sa conciergerie (n°536). Le 23 mars 1825, le maire présente un devis pour l'agrandissement du cimetière Saint-Pierre qui servirait à la paroisse Saint-Gilles et à l'Hôtel-Dieu. En mai 1830, un terrain de 80 perches (0,2 ha), accolé au nord du cimetière Saint-Pierre est acquis par la ville auprès du chevalier Henri Tranquillin Joseph de Dion ; en septembre, un arrêté municipal officialise le nouveau cimetière Saint-Gilles séparé de celui de Saint-Pierre par une clôture et possédant sa propre entrée ; l'Hôtel-Dieu conservant son terrain. Ce nouveau cimetière Saint-Gilles, qui prend aussi le nom de cimetière de la Croix-Guérin (nom de la rue le bordant) pour le distinguer de l'ancien, reçoit une bénédiction en octobre 1831.

En août 1857, le maire est autorisé à acquérir auprès de l'abbé Le Veneur une bande de terre de 40 ares (0,04 ha) pour agrandir vers l'est les cimetières Saint-Pierre et Saint-Gilles. Les deux cimetières sont officiellement réunis sous l'appellation de cimetière Saint-Pierre en septembre 1861.

A partir de janvier 1886, les habitants des paroisses Saint-Pierre et Saint-Gilles sont inhumés au cimetière Nord-Est. Seules les familles possédant une concession à perpétuité peuvent encore se faire enterrer dans l'ancien cimetière Saint-Pierre (moins de 250 inhumations mentionnées dans le registre entre 1886 et 1944). Celui-ci est classé au titre des sites le 30 mars 1939.

Les bombardements de juin et juillet 1944 affectent considérablement le cimetière Saint-Pierre, de nombreux tombeaux sont détruits ou ruinés, le terrain est bouleversé. Des travaux sont réalisés pour remettre en état la conciergerie, mais la ville décide d'interdire toute nouvelle inhumation après 1945. Elle autorise uniquement que la dépouille du chanoine Pierre Ruel, curé de Saint-Pierre mort des suites des bombardements le 7 juillet 1944, soit déposée auprès d'anciens curés de Saint-Pierre et Saint-Gilles.

Par une délibération du 8 avril 1949, le conseil municipal de Caen demande le déclassement de l'ancien cimetière pour n'en conserver qu'un tiers de la surface. La Commission des sites obtient en juin 1950, après arbitrage, une légère extension vers le nord de la zone à préserver ainsi que le transfert vers celle-ci de certains monuments funéraires jugés intéressants sur le plan historique. Une grande partie du sol du terrain conservé est alors remblayée et engazonnée.

En 1956, le gardien du cimetière signale des actes de vandalisme et de vol (clôtures) mais il faut attendre juillet 1960, pour que l'entreprise Adam & Cie achève la construction de la clôture selon les plans dressés par l'architecte André Cauderlier.

Parmi les tombes ou vestiges conservés, l'on en compte de nombreux signés du marbrier Renouf.

Aujourd'hui, le cimetière dormant Saint-Pierre compte parmi les espaces verts ouverts et visitables de Caen. Ce sont les services de la Ville qui assurent l'entretien des lieux.