Le premier février 1768, Pierre Koly, fermier général et négociant à Paris, est autorisé par arrêt du Conseil d’État du Roi à établir sur la rivière d’Andelle à Charleval des moulins destinés à « la fonte des terres de monnaies et d’orfèvres » c'est à dire des cendres et rebuts d’orfèvres, à charge pour lui de payer une rente perpétuelle de 1200 livres (1185,18 f) échéant tous les 6 mois à M. Adrien Robert de Frémont de Charleval, marquis de Rosay. Cette fonderie d’or est implantée plus précisément sur le site du Pont des Jardins qui faisait autrefois partie des grands jardins de l’ancien château de Charles IX. Le projet entraîne le creusement d’un grand canal et la mise en place de soufflets de forge actionnés par une roue hydraulique dont le détail n’est pas connu. Cinq ans après l’arrêté royal, Pierre Koly abandonne son projet et cède son site aux époux Guyot, négociants parisiens, par acte de vente passé le 19 février 1773 devant Maître Lagrenet, notaire à Paris. Ainsi huit ans après sa création la fonderie d’or fondée par Pierre Koly est déjà abandonnée. Le terrain, les biens et tous leurs accessoires, dont un moulin et quatre autres bâtiments, sont à nouveau revendus par acte passé le 12 février 1776 devant Me Besnard, notaire à Charleval entre les époux Guyot et François Lefan. Ce dernier, marchand farinier de son état, réutilise les installations pour la mouture du blé : les fours sont démontés et les soufflets actionnés par l’eau de l’Andelle sont remplacés par des meules en pierre. François Lefan afferme son moulin à un meunier exploitant. En 1788, Louis-Jacques Lebeux en est locataire. En 1792, François Lefan vend son moulin à blé à Henri Palyard de Clamouse qui forme le projet de le transformer en filature. Mais le projet n’aboutit pas et le bâtiment resté à l’abandon est détruit.

Au début du XIXe siècle, le terrain est racheté par Guillaume Mauger puis en 1838 par Victor Juste Viel, négociant havrais, qui envisage d'édifier une filature au lieu-dit du Pont des Jardins.