Dès les années 1860, suite aux plaintes des estivants déplorant l'absence d'un casino dans la station, la municipalité demande à chacun des architectes Jean-Louis Celinski de Zaremba et Alexandre Buchard de dresser les plans d'un établissement de jeux. Les deux projets sont refusés, la municipalité considérant que l'implantation envisagée sur l'estacade en bois exposait le futur bâtiment aux assauts de la mer et compromettait son avenir. Un terrain est acquis au pied des falaises, face à l'estacade, et les deux architectes sont de nouveau sollicités. Les plans proposés par Alexandre Buchard sont finalement retenus et la construction est réalisée en 1887. Le casino réunissait en son sein des espaces dévolus aux divertissements mais aussi à la médication. Le rez-de-chaussée abritait une salle pour le jeu des petits chevaux, un café et une salle dispensant des bains chauds d'eau douce ou d'eau de mer, de varech, de son ou d'amidon. A l'étage, se trouvaient une salle de billard, un salon pour les dames et une salle des fêtes avec une scène. L'établissement assurait également la location de chaises sur la plage ou sous la tente-abri, de cabines de bains sur l'estacade (cabines ordinaires ou de luxe avec bains de pieds chauds), de linge (costumes de bains, peignoirs, serviettes et chaussures), ainsi que les services de guides-baigneurs et de professeurs de natation. Après des débuts difficiles, l'exploitation du casino est confiée en 1892 à Simon Max, né Max-Simon Nicolas (1852-1923), comédien et chanteur d'opérette parisien. Deux ans plus tard, il le fait agrandir pour exposer le squelette d'une baleine échouée la même année sur la plage, qu'il utilise pour abriter un théâtre (dit "théâtre de la baleine" ou "théâtre baleine"). En 1896, il projette la construction d'un hôtel de voyageurs, associé au casino, pour répondre à la demande de certains baigneurs. Mais cet établissement, qui devait avoir "le confort moderne qui est offert aux baigneurs de toutes les stations balnéaires voisines ou éloignées", n'est pas réalisé. Les jeux autorisés dans le casino étaient les petits chevaux, la boule, le whist, le bridge, la bésigue et le piquet. En 1913, le casino se voit refuser l'autorisation d'exploiter le jeu de baccara, réservé, selon le ministère de l'Intérieur, aux établissements plus "achalandés". A partir de 1914, malgré des travaux d'embellissement, le casino de Villerville entre dans une période de déclin.

Détruit en 1937, il est reconstruit cette même année par l'architecte Louis Lemaire. Il abritait dans la partie sud les espaces dévolus aux divertissements (bar, salle de danse, salle de boule, salle de cinéma et de salle spectacle contenant 221 places), dans la partie nord les logements pour le personnel. Dans les années 1980, l'établissement est transformé en restaurant. Une véranda est installée sur le grand balcon du premier étage, toutes les fenêtres à guillotine sont remplacées par des baies à montants en aluminium, les façades sont badigeonnées d'une couleur plus claire que celle d'origine.