La construction en pan de bois tient une place majeure dans la ville. Présente dans tous les quartiers, et pour toutes les périodes, elle reste la façade type des immeubles et maisons du centre-ville depuis le 15e siècle. Le faubourg Saint-Aignan conserve encore le témoignage de ce type d’architecture. La brique est le matériau le plus utilisé après le pan de bois. Elle se retrouve dans tous les quartiers de la ville, avec une prépondérance dans les faubourgs du 19e siècle, et dans tous les types de bâti, de la maison ouvrière à la villa bourgeoise. Au moins une briqueterie est attestée à Saint-Germain au 18e siècle : en 1724, François Hesbert fils vend sa briqueterie située à côté du prieuré de Saint-Gilles, maisons et terrain, pour 800 livres, somme conséquente qui laisse supposer une activité importante. De même au 19e siècle, les archives ou cadastres anciens mentionnent deux ou trois briqueteries, dont une rue du Renard, en face du château de la Motte, démolie en 1867. Une deuxième, construite en 1868 et agrandie en 1882, était établie sente Mailleraie. En revanche, les façades en brique et pierre appartiennent plus particulièrement aux maisons de notables et aux hôtels particuliers à partir du 18e siècle. Quant à la pierre de taille, son utilisation comme matériau de façade reste extrêmement ponctuelle à Pont-Audemer et ne concerne que quelques hôtels particuliers de la rue Sadi-Carnot, l’hôtel de ville et le palais de justice au 19e siècle. Si ces différentes formes d’habitat sont encore lisibles dans la ville, il est a contrario très difficile de trouver trace du bâti industriel, et plus spécifiquement des tanneries, qui ont fait la richesse de la ville. Alors que le centre, puis les faubourgs comptaient de nombreux ateliers en fond de parcelle, le long des cours d’eau, les séchoirs, moulins et autres dépendances sont aujourd’hui transformés ou totalement reconstruits. En 1755, l’établissement de la minute du rôle de la ville et des faubourgs permet d’appréhender la répartition et l’occupation de l’habitat sous l’Ancien Régime. Pratiquement 50 % des maisons sont occupées par les propriétaires. En revanche, très peu font l’objet d’une location partielle, c’est-à-dire une partie occupée par le propriétaire et une autre louée. Le plus souvent, il s’agit de maisons d’une certaine importance comportant au moins trois chambres. La location porte sur une ou deux chambres, parfois avec cuisine ou cellier. Un fait notable est la répartition de la propriété. En effet, une même maison peut avoir plusieurs propriétaires, chacun ayant une ou plusieurs chambres, un cellier, ou bien une cuisine… Ces pièces sont louées ou bien occupées par le propriétaire et cette répartition, que l’on pourrait qualifier de mixte, représente presque 25 % du mode d’occupation de l’habitat. Sur les 791 logements correctement renseignés (unités d’habitation), 50 % sont composés d’une chambre, 35 % de deux, 12 % de trois et 4 % de quatre. Les logements de plus de cinq chambres sont au nombre de 26 dont huit auberges. Les unités les plus grandes se trouvent, sans surprise, rue Sadi-Carnot et rue Notre-Dame-du-Pré. Il n’est cependant pas possible de réaliser un calcul exact du nombre de maisons pour cette période, même si, en croisant les données, nous pouvons estimer ce nombre à un peu moins de 1000. Pour le 19e siècle, Alfred Canel a réalisé un dépouillement des sources et des recensements et compte 1403 maisons en 1861 pour 6136 habitants. Il ne fournit aucun renseignement sur le nombre de pièces, mais il précise les niveaux : 167 (12 %) maisons sont en rez-de-chaussée, 852 (60 %) ont un étage et 335 (24 %) deux. Dans une proportion bien moindre, 46 maisons comportent trois étages et seulement trois dominent avec quatre étages. Le paysage urbain évolue relativement peu à la fin du 19e siècle et au 20esiècle.

De nombreuses villas sont construites dans les quartiers nouvellement créés et tout particulièrement route de Lisieux qui commence à se lotir au milieu du 19e siècle, avec une accélération à partir des années 1880. En effet, la route de Lisieux et la rue de la Fonderie comptent, entre 1848 et 1911, pas moins de 35 mentions de constructions nouvelles, à la fois villas et maisons d’ouvriers. Quelques maisons sont également remarquables, dans le quartier Saint-Aignan, surplombant la Risle, dans une atmosphère d’habitat de villégiature. Les maisons occupent le centre d’une parcelle plus grande avec un jardin et de petites dépendances. Le traitement des façades est soigné, avec une recherche dans le décor. Isolées en cœur de parcelle, elles possèdent le plus souvent un rez-de-chaussée surélevé, deux étages carrés et un étage de comble. Les façades présentent parfois des pavillons en avancée ou accolés qui amènent un jeu de toitures complexe. L’emploi de divers matériaux en façade participe à la complexité et à la richesse de l’architecture de ces villas : alternance de briques polychromes, silex en appareil irrégulier, pierre de taille en chaîne d’angle ou encore pan de bois à remplissage brique pour les constructions du début du 20e siècle.

La rue Jules-Ferry conserve également de nombreux témoignages des maisons de tanneurs au 19e siècle dans sa partie ouest. L’organisation des parcelles se répète tout au long de la voie : un logis sur rue et au milieu ou en fond de parcelle, le long du Doult-Vitran, les différents bâtiments de tannerie. La structure du bâti est assez homogène, ainsi que le matériau employé : un rez-de-chaussée avec une porte cochère desservant à la fois le bâtiment sur rue et le fond de parcelle, un étage carré et un étage de comble. La façade antérieure est le plus souvent en brique, avec un décor modeste réservé aux encadrements de fenêtres.

La croissance de l’activité industrielle entraîne également, dans la seconde moitié du 19e siècle, la construction d’un habitat ouvrier le plus souvent proche du lieu de production, parfois même construit et géré par le patron. Ainsi, en 1844, la société des Papeteries édifie un immeuble qui accueille, à la veille de la Seconde Guerre mondiale, la moitié des salariés de l’usine. Les logements en bande ont une entrée rue de la Madeleine au nord, et au sud, un accès à un petit jardin en façade. Le terrain étant en pente, les logements présentent sur rue un rez-de-chaussée et un étage, et sur la rue du Canal un rez-de-jardin et deux étages. Chaque appartement est délimité visuellement en façade par un jeu de brique qui encadre l’unique fenêtre sur chaque niveau. On retrouve également un habitat ouvrier route de Rouen et route de Lisieux, derrière le site de l’ancienne fonderie. Aujourd’hui très remaniés, les logements présentaient une certaine homogénéité, avec des modules proches et un jardin à l’arrière.

L’Entre-deux-guerres est peu propice au développement de l’habitat à Pont-Audemer. En centre-ville, ou en périphérie, seules quelques maisons sont reconstruites sur le parcellaire ancien : rue Gambetta, place Victor-Hugo, rue de la République ou rue Jules-Ferry. Deux maisons attirent plus particulièrement l’attention, à l’angle de la rue Thiers et de la place Victor-Hugo et au 25 de la rue de la République. Toutes deux construites en 1929, elles témoignent pourtant de deux styles architecturaux différents. Dans l’ancienne Grande-Rue, l’immeuble construit pour le Crédit lyonnais remplace deux maisons plus anciennes, très étroites et à un seul étage. L’architecte Bourienne conçoit à la place un bâtiment de plus grande ampleur occupant deux anciennes parcelles, avec deux étages carrés et un étage de comble à surcroît. L’utilisation en façade de la pierre polychrome permet, par un jeu de formes géométriques, de souligner les angles, les baies et les travées dans un registre classique de la fin du 19e ou du début du 20e siècle. La seconde maison est construite avec un parti pris plus moderniste. Certes modeste dans ses proportions et son vocabulaire, elle propose par l’utilisation de la brique et du faux pan de bois, sans décor et ornementation, une référence régionaliste en vogue dans les années 1920 et 1930. On retrouve également ce parti pris dans la réalisation des quelques maisons jumelées route de Quillebeuf. Prémices d’un lotissement plus vaste jamais réalisé, ces demeures sont également représentatives des modes architecturaux et des matériaux employés dans les années 1930.

Touchée par deux vagues de bombardement, en juin 1940 et août 1944, Pont-Audemer compte 586 bâtiments détruits dont 250 immeubles sont détruits, représentant 324 logements, soit 21 % du patrimoine immobilier. Des baraquements provisoires sont installés dès 1945 sur l’ensemble du territoire de la ville, notamment le long des quais, sur les places et le stade.

Maurice Novarina, nommé architecte du MRU en 1947, installe son agence à Pont-Audemer avec, comme collaborateur, l’ingénieur Vulliez. En tant qu’architecte en chef et architecte d’opération, il supervise l’ensemble des projets de reconstruction même si les chantiers les plus importants sont signés par différents architectes tels René Delaunay, Cossart ou André Guerrier.

Novarina propose alors deux formes de reconstruction : sur les parcelles libérées par le déplacement des usines à l’extérieur du centre-ville, d’une part, édifier des immeubles selon les principes modernistes qui placent le bâtiment en cœur d’îlot ; d’autre part, le long de la Risle et sur les axes importants du centre ancien, il conserve le parcellaire pour recréer les îlots traditionnels avec un alignement du bâti sur rue. Les immeubles sont alors conçus en un seul bloc, respectant les hauteurs et volumes des autres édifices de la rue. De plus, ils reprennent le mode de distribution classique avec un habitat collectif et des commerces au rez-de-chaussée

.Après la période de Reconstruction, Pont-Audemer connaît deux phases d’extension. À l’ouest, entre la rue Jules-Ferry et la rue de l’Étang, le lotissement du Doult-Vitran est construit à partir de1955. Il est composé dans sa première tranche de pavillons qui, répondant à un strict cahier des charges, offrent, malgré la diversité des architectes ou entrepreneurs sollicités, une unicité de forme et de volume. Entre 1967 et 1975, une seconde tranche est réalisée. Afin d’anticiper une demande croissante en logements, la ville décide la réalisation d’un parc d’immeubles collectifs tous conçus sur le même modèle. Ces constructions sont suivies par la mise en place à l’est de la ville de la ZUP qui répond à un programme d’aménagement du territoire et de conception de logements normalisés que l’on retrouve dans les grands ensembles réalisés au cours des années 1970 en France.

Le début du 21e voient en revanche apparaitre de nouveaux projets de création architecturale qui marquent la ville, renouvelle le parc immobilier et lui donne son orientation résolument contemporaine.

L’immeuble « Les Galets », à l’angle de la rue René-Coty et du boulevard Pasteur se remarque à la fois par sa structure et son revêtement. Il se compose de deux bâtiments assemblés en équerre: l’un longitudinal est rythmé par des balcons filants, un rez-de-chaussée légèrement surélevé et un ponton permettant de rejoindre les halls d’entrées. Il abrite 32 logements traversants, le séjour avec une cuisine ouverte au sud-est et les chambres au nord-ouest. Le second immeuble, polygonal, compte 12 logements desservis par une coursive. Il est entièrement revêtu d’une structure métallique de type gabion qui renferme des galets de Cayeux.

La destruction des HLM de la rue de l’Étang en 2005 et 2007 et la requalification du quartier sont l’occasion de repenser à la fois l’aménagement du territoire, la forme architecturale du bâti et la manière d’habiter. Les logements sociaux gérés par Eure Habitat et la Siloge sont réalisés dans le cadre de la ZAC du parc des Étangs et sont le fruit de trois opérations faisant appel à trois cabinets d’architectes différents. Tout en conservant une unicité au projet d’ensemble, notamment par le choix d’un habitat HQE, en lien avec l’environnement immédiat qu’est la zone humide des étangs, chaque aménagement se singularise par son parti pris architectural et évite la monotonie des grands ensembles standardisés.

À l’est de la ville, sur l’emplacement de l’ancien collège Novarina, un vaste programme de reconstruction a également vu le jour. Sur une parcelle laissée libre après la reconstruction en 2006 du groupe scolaire, La Plaine Normande décide la construction d’un ensemble de logements locatifs. En 2011, l’agence parisienne BMC2 architectes, dirigée par Arnaud Bical et Laurent Courcier livre 41 logements. L’implantation de deux petites barres parallèles nord-sud non pas en alignement sur la voie mais transversalement permet d’ouvrir en éventail la place du Général-de-Gaulle afin de dégager une vue sur le théâtre de l’Éclat. Les extrémités des deux immeubles sont découpées en crans et offrent, depuis la rue, une succession de plans qui démultiplie la façade.

Le choix d’une architecture sur pilotis répond également à deux exigences : conserver une fluidité dans le paysage en laissant le regard se porter, au-delà des bâtiments, sur les collines environnantes et répondre aux prérogatives du Plan de Préventions des Risques d’Inondation en réduisant l’impact au sol des immeubles.

Les logements sont traversants avec des expositions est-ouest qui assurent lumière et ventilation naturelles. Les appartements de trois et quatre pièces sont disposés au centre des immeubles. Ils se composent d’une travée centrale destinée à l’espace de vie avec la cuisine à l’est et le séjour orienté à l’ouest qui ouvre sur une loggia de belle dimension. Les pièces d’eau et les chambres se répartissent de chaque côté de ce module et bénéficient également d’un espace habitable supplémentaire : les fenêtres sont remplacées par des oriels qui, orientés au nord ou au sud, minimisent les vis-à-vis entre les deux immeubles, offrent une vue sur les collines et captent la lumière.