L'oeuvre de la Goutte de Lait est créée à Fécamp en 1894 par un médecin, Léon Dufour (1856-1928). Elle est destinée à lutter contre la mortalité infantile en associant consultation médicale pour les nourrissons et fourniture de lait et biberons stérilisés. Elle devient un modèle national et international.

En 1929, la municipalité confie aux architectes de la ville Emile et Jacques Mauge la construction d' une fondation Léon Dufour comprenant une école maternelle, une crèche, une Goutte de lait et un musée pour exposer la collection (biberons, vêtements, jouets, iconographie), léguée à la ville en 1926 par le créateur de l'œuvre. La première pierre est posée le 22 juin 1930. Le Pavillon de l'Enfance est achevé en 1933.

A Fécamp où elle fonctionne jusqu'en 1970, la moitié des nouveau-nés y étaient inscrits en 1901 et plus des quatre cinquièmes en 1937. A la veille de la Seconde Guerre mondiale, il existait en France 101 Gouttes de Lait et 60 autres dans le monde.

L'œuvre privée poursuivie par le docteur Maupas, gendre de Dufour fusionne avec la fondation municipale en 1934. Le musée de l'Enfance quitte les lieux en 1958 pour rejoindre les autres collections municipales.