Le premier cimetière de Longny se trouvait initialement autour de l'église. Dans sa monographie historique et archéologique de l'église paroissiale Saint-Martin de Longny-au-Perche, Maurice Leroux fait état de nombreuses découvertes d'ossements humains lors des travaux d'électrification menés aux abords immédiats du monument en juillet 1932. La translation du cimetière sur son lieu actuel, autour de la chapelle Notre-Dame-de-Pitié, a eu lieu peu de temps après l'achèvement des travaux de construction de la chapelle Notre-Dame de Pitié, au cours du 17e siècle. Le socle et l'emmarchement de la croix monumentale du cimetière, maçonnés en pierre de taille de grès roussard, pourraient dater de l'Ancien Régime. Devenu insuffisant au milieu du 19e siècle face à l'accroissement de la population, le cimetière doit être agrandi. Dans cette perspective, la municipalité achète le 25 novembre 1861 à Alfred Brière, propriétaire et géomètre, une portion de terrain au sud du cimetière pour la somme de 2 374,40 francs. L'année suivante, la construction du mur de clôture est adjugée à Louis Marin Joseph Privé, maître maçon à Longny, qui réalise les travaux en 1863.

Les sépultures les plus anciennes remontent à la seconde moitié du 19e siècle. Le cimetière renferme une seule chapelle funéraire, érigée pour la famille Guyot du Buisson à la fin du 19e siècle ou au début du 20e siècle. Le cimetière comprend également deux monuments, le premier érigé en 1896 en mémoire des morts pour la France lors de la Guerre de 1870, le second, en 1922, commémorant la Première Guerre mondiale.