Le pavillon central de plan rectangulaire a été construit en 1851 pour Charles-Antoine Calenge, propriétaire à Escoville. Il est acheté en 1860 par Adolphe Honegger, négociant, consul de Bolivie, domicilié au 28 rue de la Rochefoucauld à Paris. Il est agrandi de deux autres pavillons construits en plusieurs fois jusqu'à la fin du siècle, à commencer par le rez-de-chaussée de l'aile ouest où était le billard (tradition orale).