En 1497, la ville verse six livres « au maître des écoles des enfants pour l’aider à payer le loyer de sa maison ». Comme partout ailleurs dans le royaume, le maître dépend financièrement des familles et du bon vouloir de l’autorité locale. L’enseignement se fait dans des maisons ordinaires louées par les maîtres, ce qui implique des déménagements réguliers au fil des siècles. En 1510, les maîtres demandent une aide à la location de la maison servant d’école, car ils n’ont pas d’autres revenus que le financement par les parents et beaucoup de familles sont trop pauvres pour assumer cette charge.

En 1795, Pont-Audemer nomme des commissaires pour mettre en application la loi du 17 novembre 1794 sur l’établissement d’écoles primaires dans la commune. Au début du 19e siècle, l’école de filles, rue Notre-Dame-du-Pré, est dirigée par la communauté des sœurs d’Ernemont, présentes dans la plupart des villes de la région. L’école mutuelle de garçons est laïque : à l’époque, la méthode de l’enseignement mutuel avait beaucoup de succès pour pallier la pénurie des maîtres, un seul suffisant pour toute l’école. Mais avec l’augmentation du nombre d’élèves, les locaux deviennent rapidement trop petits.

Dès les années 1830, la municipalité cherche de nouveaux terrains pour construire des édifices adaptés. En 1833, trois lieux sont retenus : rue des Cordeliers, dans la cour ou jardin de la manufacture, une prairie le long de la place actuelle du Général-de-Gaulle et un vaste jardin au milieu de la rue Notre-Dame-du-Pré. En 1842, l’architecte de la ville présente au conseil les plans des deux écoles à construire près de la place, vers le bras sud de la Risle. Le choix du terrain retenu n’est pas anodin. À cette époque, les autorités souhaitent que la future route départementale de Damville passe à travers les prairies longeant la Risle et débouche sur la place. D’après les plans, adoptés par le conseil municipal en novembre, les deux écoles devaient être placées en vis-à-vis de chaque côté de la rue. Face au refus du propriétaire des prairies de vendre, la mairie doit chercher d’autres lieux. Elle acquiert en 1846 deux terrains : l’un rue des Remparts pour l’école de filles et le second rue Notre-Dame-du-Pré, à l’emplacement de l’ancienne église et jardin, pour l’école de garçons. Les travaux ne sont toujours pas engagés en 1850 alors que les locaux qui abritent provisoirement l’école de garçons route de Quillebeuf sont de plus en plus délabrés. À court de ressources financières, la commune renonce à la construction d’une école de filles. Elle estime alors que « l’école d’éducation des dames d’Ernemont et les autres écoles créées dans la ville suffisent, pour l’instant, à donner l’instruction aux jeunes filles ». En effet, depuis 1844, l’école tenue par la communauté s’est agrandie avec l’acquisition d’une maison rue Sadi-Carnot.

La construction d’une école de garçons est alors actée rue des Remparts, mais en 1855, le projet est à nouveau abandonné, toujours faute de moyens financiers. Le terrain est revendu et la ville achète une maison située impasse Saint-Ouen, entre l’église et la place. Après expertise, la commission estime que le bâtiment convient même si quelques travaux s’avèrent nécessaires. Il se compose d’une pièce au rez-de-chaussée pouvant servir de salle de classe et d’un petit cabinet pour l’instituteur. Au premier étage, une seconde salle de classe peut être envisagée ainsi qu’un appartement. Un jardin donne sur la place, avec une buanderie, une remise et une écurie qui pourraient, une fois transformées, servir de préaux.

Parallèlement à la tentative de la commune de créer une école publique de garçons, le curé desservant de l’église Saint-Germain, Beaucousin, ouvre en 1838 une école congréganiste et libre, l’école des frères Saint-Joseph. D’abord installée dans l’ancien presbytère de Saint-Germain-Village, elle est ensuite aménagée sur un terrain acquis en 1841 par le curé route de Honfleur et constitue de fait le premier édifice à usage d'école construit à Pont-Audemer. Aujourd’hui disparu, il se composait d’un double corps de bâtiments en brique, avec salles de classe, dortoir, réfectoire, cuisine et logements des frères. L’établissement reçoit de la ville une subvention pour accueillir des enfants de familles démunies. En 1858, lorsque le curé Beauvoisin décide de la vendre à la ville, l’école compte 292 élèves dont 89 non payants. Cette vente, conclue en 1859, est soumise à condition « … que la propriété vendue servira toujours à l’établissement des frères enseignant l’école chrétienne. La ville de Pont-Audemer devra donc à perpétuité ouvrir dans ce local une école pour les jeunes enfants sous la direction des frères Saint-Joseph ou des religieux d’une autre communauté. » Ainsi, cette école, non payante, dite congréganiste municipale, est entretenue par la commune, qui paie également le traitement des frères.

Avec l’augmentation du nombre d’enfants scolarisables et l’évolution des lois scolaires au cours du 19 siècle, les locaux deviennent encore trop petits et inadaptés. En 1876, le rapport de l’inspecteur primaire est éloquent : « … une administration municipale doit posséder une école laïque bien aménagée et bien distribuée, un établissement d’enseignement primaire libre vient d’être créé dans la ville, une autre école communale confiée aux frères de Saint-Joseph depuis environ vingt ans se trouve dans de bonnes conditions d’installation, qu’au contraire l’école laïque communale actuelle est insuffisante pour le nombre d’enfants qui la fréquente, mal aménagée, d’un vilain aspect, vieille et très peu solide, qu’elle est située entre deux tanneries dont les émanations constituent un danger permanent pour la santé des enfants. » La ville décide alors en 1877 d’acheter un terrain rue Delaquaize pour construire une école de garçons. L’établissement ouvre en 1881 et la maison impasse Saint-Ouen est détruite l’année suivante. Cinq ans plus tard, en 1882, c’est une école de filles qui est inaugurée place d'Armes (place du Général-de-Gaulle). Ces deux édifices sont les témoignages les plus anciens de l’architecture scolaire à Pont-Audemer et les prémices d’une série de réflexions et de constructions au cours du 20e siècle, reflet de l’évolution des lois sur l’éducation mais également de l’augmentation du nombre d’habitants et d’élèves à accueillir.

Dans les années 1930, un projet de groupe scolaire est établi pour regrouper sur un même site l'ensemble des classes mais l'arrivée de la Seconde Guerre mondiale met un terme aux travaux de construction.

Après guerre, Maurice Novarina construit place du Général-de-Gaulle un nouveau groupe scolaire. Avec l’évolution de l’enseignement et la création des collèges et lycées, le site devient CEG puis CES et, en 1968 un CET, aujourd’hui lycée professionnel, est construit à côté. Un lycée d'enseignement général est également construit en 1979, avenue Pompidou.

L’ancien groupe scolaire de Novarina a été complètement restructuré à partir de 2004 et seul le bâtiment qui abritait à l’origine l’internat des filles a été conservé. Dans les années 1960 et 1970, trois autres écoles sont construites dans les quartiers en expansion. En 1966, Novarina réalise l’école La Fontaine rue des Baillis pour répondre à la demande de la partie ouest de la ville, totalement reconstruite après-guerre. De même, le lotissement du Doult-Vitran, mis en œuvre à partir de 1955, est en pleine expansion dix ans plus tard. Sans établissement proche, les enfants du quartier sont scolarisés dans les écoles du centre-ville. La réflexion commence en 1964 pour aboutir en 1972 à la construction du groupe scolaire Boucher et Saint-Exupéry, rue de Normandie. L’architecte Georges Duval conçoit trois unités (maternelle, primaire filles, primaire garçons) qui, en fonction de l’évolution du quartier, peuvent être agrandies.