L'église est construite à la fin du XIe siècle. Les arcatures présentes sur la tour-clocher rappellent cette première époque de construction. L'hypothèse d'une chapelle castrale a été remise en cause récemment (Villeroy, 2017) pour privilégier l'idée d'un édifice qui a pris une certaine importance grâce à la bourgeoisie locale. Pendant la guerre de Cent Ans, le monument est fortifié. Les murs des bras du transept sont surélevés, des meurtrières sont aménagées et des mâchicoulis sont ajoutés. Ces quelques changements, encore visibles aujourd’hui, donnent à la chapelle une physionomie singulière. La voûte, les petites baies à la base de la flèche et les sculptures présentes dans l’édifice pourraient dater de la fin du XVe siècle. Trois peintures murales datent également de cette époque. Malgré la présence de l’église paroissiale Notre-Dame des Montiers, Saint-Remy est toujours utilisée pour le culte. Les deux édifices se faisant concurrence, un règlement est rédigé en 1735 pour diviser les dimanches, les fêtes, les vêpres, les processionnels, les rites et les cérémonies entre les deux lieux de culte. Notre-Dame conserve les grandes fêtes principales, mais de nombreuses messes sont également célébrées à Saint-Remy, surtout en hiver, sûrement pour épargner aux habitants le trajet jusqu’à Notre-Dame. Au moment de la Révolution française, l'église est désaffectée. Entre 1794 et 1795, elle est utilisée comme atelier de salpêtre. A partir de 1796, elle devient un lieu de refuge lors de l’attaque chouanne, puis une prison pour les contre-révolutionnaires. En 1799, la nef, en trop mauvais état, est détruite. L’intérieur de l’édifice est réaménagé, un plancher est construit pour créer un étage dans l’espace du chœur et du transept, l’arc de séparation entre la nef et la croisée est bouché, et un double escalier extérieur est construit pour donner accès au nouvel étage. A cette époque, il existe également un magasin accolé au bras nord du transept. En 1868, l’abbé Groussard écrit au maire pour faire savoir que les habitants de la ville souhaiteraient que l'édifice désaffecté redevienne un lieu de culte. La fabrique et la municipalité se sont pendant longtemps disputés le propriété du bâtiment. Le 20 avril 1944 l’édifice est classé Monument historique. Dans les années 1960, la chapelle retrouve son aspect de la fin du XVIIIe (sans la nef) car les aménagements intérieurs et extérieurs du début du XIXe (plancher, escalier) sont retirés comme les boutiques accolées au bras du transept. Le mur qui fermait l’arc entre la nef et la croisée est remplacé par une grille. Dans les années 1980, la restauration de la couverture du clocher fait apparaître une flèche en maçonnerie. La municipalité et les Monuments historiques prennent le parti de conserver la flèche en maçonnerie et de compléter sa partie manquante.