La seigneurie du Plessis appartenait au baron Grimoult du Plessis, l'un des félons qui s'éleva contre le jeune Guillaume, duc de Normandie. Battu à la bataille du Val-ès-Dunes en 1047, il fut emprisonné à Rouen, où il mourut étranglé. Ses domaines, dont le fief du Plessis-Grimoult (Calvados) et la seigneurie du Plessis (Manche), furent démantelés au profit des barons de La Haye-du-Puits. Cet épisode peut correspondre à une première occupation du site, mais il ne s'accorde pas avec l'analyse des éléments architecturaux en place, qui indiquent plutôt une construction du 12e siècle. En 1911, on y établit un chemin de croix. Depuis les années 1960, plusieurs statues de chevaliers en jalonnent le parcours.