La gare de Pont-Audemer est inaugurée en 1867 route de Lisieux. L’ouverture de ce sous-embranchement, qui n’était pas prévu dans le premier plan de construction du réseau, constitue une ligne d’intérêt local réalisée en deux temps. La municipalité et les habitants doivent batailler pour obtenir le désenclavement de la ville et son raccordement à la ligne gérée par la Compagnie de Rouen à Orléans, qui passe à Glos-Monfort, à une quinzaine de kilomètres de la ville. En 1866, une compagnie locale créée pour l’occasion, la Compagnie du chemin de fer Glos-Monfort à Pont-Audemer, réalise ce premier tronçon. Le second, plus tardif, est inauguré en 1889 et fait partie de la liste des 181 lignes inscrites dans la loi du 17 juillet 1879 issue du plan Freycinet. Elle relie Pont-Audemer à Quetteville, à l’ouest du département, et permet ainsi la liaison avec Honfleur. Ces deux lignes étant gérées par des compagnies différentes, une convention est signée en janvier 1889 afin de favoriser un bon usage des lieux. La Compagnie d’Orléans qui gère le tronçon Pont-Audemer - Glos-Monfort est également propriétaire de la gare et autorise la Compagnie de l’Ouest qui administre la voie Pont-Audemer - Quetteville à utiliser les locaux de desserte de voyageurs et de marchandises.

La ligne Glos-Monfort - Quetteville est fermée aux voyageurs le 28 septembre 1969 et le bâtiment, qui abritait un point de vente, ferme ses portes en septembre 2006.