Malgré les pressions précoces du patronat drapier elbeuvien pour que la ville bénéficie d'un raccordement au réseau ferré, Elbeuf constitue la dernière grande cité normande a être dotée d'une gare ferroviaire. Inaugurée le 7 janvier 1883, elle constitue la dernière gare créée sur la ligne ferroviaire reliant Rouen à Orléans mise en service entre 1872 et 1883. jusqu'à cette date, la desserte d'Elbeuf s'effectuait par la gare de Saint-Aubin-Lès-Elbeuf (dite gare d'Elbeuf-Saint-Aubin) mise en service le 24 juillet 1865 par la Compagnie des chemins de fer de l'Ouest, sur l'embranchement de Serquigny à Rouen de la ligne de Paris à Caen et à Cherbourg.

Son emplacement, pourtant avait été fixé dix ans plus tôt, par vote du conseil municipal le 21 avril 1874. La place retenue est située au Sud de la ville, sur des terrains inoccupés d'une superficie de 10 hectares, très proches des grandes usines drapières fondées après la guerre de 1870 par les industriels venus d'Alsace (Blin, Fraenckel, Herzong). Le choix de cet emplacement, assurément, n’est pas totalement fortuit, la proximité d'un tel équipement représentant pour ces industries un atout majeur en matière de transport, pour l'acheminement des matières et l'expédition des produits finis. Aussi l'avenue Léon Gambetta percée pour desservir la gare traverse-t-elle les établissements Blin et Blin, assurant un lien direct entre l'équipement et l'entreprise, pour le plus grand intérêt de cette dernière.

Une fois les travaux de terrassement achevés en octobre 1881, la construction des bâtiments adjugée le 15 janvier 1882 est confiée à l'entreprise elbeuvienne Liorel père et fils. Outre la gare de voyageurs, le site comprend également une halle de marchandises, un atelier de réparation et une remise pour locomotives (aujourd'hui disparus). Le coût total de l'opération, achat du terrain compris s'élève à 1,6 MF.

Après moins de soixante ans d'activité, la gare d'Elbeuf-ville est progressivement désaffectée : le service voyageurs Interrompu en 1940 n'est jamais rétabli après la guerre et le transport des marchandises est arrêté le 12 décembre 1965, suite à la fermeture de la ligne entre Elbeuf et Rouen. Elle reste inoccupée jusqu'en juillet 1991, date à laquelle y est installé le siège du Chemin de fer touristique de la Forêt de la Londe. La fermeture du club ferroviaire en 1996 laisse la gare d'Elbeuf-ville à nouveau désaffectée.