A l’origine, sur l’emplacement de l’actuelle Église Notre-Dame, existait l’église abbatiale du Monastère Bénédictin des Loges destiné aux femmes. Fondé à la fin du VIIe siècle sous les Mérovingiens. À la suite d’une étude approfondie des textes du haut Moyen Âge, publié dans la Revue d’histoire de l’Église de France, il semble, en effet, possible d’établir que le monastère mérovingien de Logium, longtemps situé par erreur au hameau de Caudebecquet près du pont de Brotonne, doit être recherché en réalité au cœur même de la ville actuelle de Caudebec-en-Caux et que l'église paroissiale Notre-Dame a toutes les chances d'avoir été primitivement l’abbatiale de ce grand monastère pour lequel la reine Bathilde, femme du roi Clovis II, fit un don important au VIIe siècle. Ce monastère devait s’étendre sur la majeure partie du bourg actuel de Caudebec-en-Caux.
Outre l’église Notre-Dame, il comprenait une chapelle Saint-Pierre située à l’emplacement même de la place d’armes, une chapelle dédiée à saint Martin et probablement un troisième oratoire placé sous le patronage de saint Léger, à la sortie nord de la ville sur la route de Sainte-Gertrude. Abandonné lors des invasions vikings du IXe siècle, il ne fut jamais rebâti. Une partie de ses biens fut répartie entre divers chefs normands après 911 et le reste fut réuni au patrimoine de l'abbaye de Saint-Wandrille en 960. Ce monastère disparait au IXe siècle.
S’ensuit différentes périodes dans la construction de l’édifice actuel. Une église romane est bâtie au XIe siècle et c’est à partir de la fin du XIVe qu’elle est jugée trop petite et sombre pour les besoins des paroissiens. La construction d’agrandissement et de transformation se fait en style gothique flamboyant, à l’image de Saint-Maclou à Rouen contemporaine de cette église, avec un plan ne comportant pas de transept , et qui justifie peut-être ce qualificatif royal du roi Henri IV de « chapelle ».
Trois périodes de construction se succèdent; sur une base romane, l'architecte Guillaume Letelier l'agrandit, entre 1426 et 1484, entièrement dans un style gothique flamboyant. Le clocher et la flèche sont terminés vers 1530. La partie sommitale de la tour est constituée d'une exceptionnelle flèche en forme de tiare pontificale ajourée d'une finesse rare pour le XVIe siècle. La pierre calcaire culmine à 51,60 mètres. Au XVIIe siècle, la flèche présente déjà des problèmes structurels.
Pendant les guerres de Religion, l'église Notre-Dame de Caudebec-en-Caux est abîmée en 1562 et subit de nouveaux dégâts pendant la Révolution française. Lors de cette dernière, l'orgue est relativement épargné, son titulaire de l’époque, Le Maignen, joue des airs patriotiques. Louis Sauvageot, alors architecte diocésain pour Rouen, est chargé en mai 1878 d’évaluer l’état de la flèche. Le 4 avril 1879, le projet de réfection de la tour et de la flèche est adopté. En 1883, les travaux de restauration de la flèche commencent et continuent jusqu’en 1886. Les efforts de rénovation se heurtent à la polémique selon laquelle Sauvageot semblerait dénaturer la construction initiale. Louis Sauvageot reçoit la médaille d’or à l’Exposition universelle de Paris de 1889 pour ses réalisations majeures et son travail sur la flèche de Notre-Dame de Caudebec-en Caux.
Pendant la Seconde Guerre mondiale, la messe est dite le dimanche 9 juin 1940 alors que l'ordre d’évacuer la ville est donné par le maire la veille. Les bombardements allemands ciblant le bac mettent le feu à la ville les 10 et 11 juin 1940 mais l'église est épargnée. Les cloches fondent à cause d'échafaudages en bois allant du grand portail ouest jusqu'au clocher lors de l’incendie de la ville. Le bronze fondu est caché sous les débris pour éviter d’être réutilisé par les Allemands mais les autres dégâts forcent la fermeture de l'église jusqu'au 23 mars 1941. Le bâtiment est affecté par les traces d'un bombardement allié en 1944. Sa remise en état s'échelonnera sur près de 40 ans.
Cette église Notre-Dame de Caudebec-en-Caux est aujourd'hui l'emblème de la ville. Cet édifice est à lui seul l'abécédaire de l'architecture et de l'histoire locale et française sur près de 800 ans. La tour clocher n'est pas centrale comme à l'église Saint-Maclou de Rouen, mais située contre le collatéral sud de l'édifice. La flèche de 54 m arbore la triple couronne tiarée des papes. La finesse du décor de sa flèche ajourée a été imitée dans la région, à Norville par exemple et doit en partie sa renommée à ses trois couronnes fleurdelisées, la « tiare » de Caudebec. Le beffroi abrite 3 cloches refondues après guerre. Sur la balustrade du toit sont inscrits en lettres gothiques des versets du Cantique des Cantiques, « Pulcra es et decora » (6,3). On retrouve cette phrase sur la galerie du portail principal de la cathédrale de Burgos en Espagne. Des passages du Magnificat apparaissent également sur cette balustrade.
Son portail ouest est finement sculpté et décoré de tout un peuple de sculptures représentant des saints, mais aussi des personnages de la vie quotidienne de l'époque, dont un joueur de loure qui constitue une des rares représentations de cet instrument de musique disparu. Malheureusement, tout a été mutilé par les calvinistes pendant les guerres de religion et les incendies allumés par les bombardements de juin 1940, en brûlant les maisons alentour (sauf au nord-ouest), l'ont encore endommagé davantage. Cependant, les petits personnages du côté sud de cette façade ouest ont été restitués selon leur ordonnance et leur aspect d'origine.
La galerie de lettres gothiques, jadis dorées, forment un hymne à la Vierge Marie. Sur le premier contrefort, l’église Notre-Dame de Caudebec-en-Caux possède un des rares exemples de cadran double : solaire et lunaire pour les marées. Au nord, à l’ombre de la Grande Rue, les culs-de-lampe représentent des créatures des ténèbres : chouette, perroquet, bouffon avec chapeau à grelots... On y trouve aussi la plaque de la désolation, rappelant les dégradations subies lors des guerres de Religion.
Dans la nef à l'intérieur, qui comprend trois niveaux, on peut voir plusieurs détails grotesques : moines joufflus, personnages à l’air curieux ou animaux. La voûte, d’une hauteur de 21 mètres, est croisée d’ogives mais n’a pas de transept. Le choeur, surmonté d’une vierge et d’anges en terre cuite dorée, possède un lutrin de 1656 en cuivre ciselé, classé, représentant un aigle posé sur un globe. La chapelle Notre-Dame possède une clef pendante de 4,30 mètres, provenant d’une seule pierre de 7 tonnes ancrée dans la voûte. Comme dans les églises Saint-Pierre de Caen et Saint-Maclou de Rouen, l'abside est à quatre pans et présente un pilier dans l'axe de l'édifice, de sorte que le visiteur a dans son champ de vision deux vitraux, au lieu de trois ou cinq comme dans la majorité des églises.
Autres singularités notables : la vierge allaitante de la chapelle Saint-Laurent et les fonds baptismaux du XVIe siècle : la cuve à godrons en pierre est surmontée d’un couvercle en bois représentant, sur des panneaux séparés par des colonnes corinthiennes, seize scènes bibliques de l’Ancien et du Nouveau Testament. Ces fonts baptismaux en bois sculpté font également la renommée de l'édifice.
Les vitraux du XVe siècle de toute beauté marquent le visiteur. En restauration pendant la seconde guerre mondiale, les verrières ont été épargnées (sauf celles de l’abside). Au-dessus du portail du bas-côté nord, on remarque les quatre vitraux de facture anglaise datant du début de la construction de l'église, offerts par Foulques Eyton, capitaine de Caudebec de la garnison britannique pendant la guerre de Cent Ans. Le premier d'entre eux représente saint Georges, saint patron de l'Angleterre, terrassant le dragon. Il a son pendant dans la chapelle qui jouxte ce portail à droite, en saint Michel, saint patron de la Normandie, puis du royaume de France, qui lui aussi terrasse un dragon. Les deux autres vitraux représentent Sainte Catherine et la Vierge Marie. Celui de Sainte Catherine rappelle également celui de la All Saints College à Oxford.
La plupart des vitraux, surtout dans les chapelles du collatéral nord représentent des saints en pied, patrons des métiers, offerts par les corporations, nombreuses dans cette cité très industrieuse. Les vitraux du XVIe siècle sont encore plus célèbres. Ils ornent quatre baies dans les deux dernières travées gothico-Renaissance de la façade ouest. Deux autres vitraux Renaissance ornent également les fenêtres basses de la façade ouest. Ils proviennent peut-être des ateliers rouennais d'Arnoult de Nimègue (Arnold van Nijmegen), maître-verrier néerlandais qui a également réalisé les vitraux de l'église Sainte-Jeanne-d'Arc de Rouen. Ils représentent majoritairement des scènes de l'Ancien Testament ou de la vie du Christ : Jésus et la Samaritaine (bas-côté sud de la nef, 1532) au puits de Jacob, Moïse et la traversée de la mer Rouge par les Hébreux, la Cène, les rois mages, la vie de saint Jean-Baptiste et un arbre de Jessé. On constate que le maître-verrier dans la représentation du passage de la mer Rouge a figuré la mer et ses vagues de la couleur rouge !
L’orgue de 1540 est réputé pour sa sonorité. Reposant sur une tribune, dont la balustrade garnie de fleurs, de fruits et d’oiseaux est typique de la Renaissance, il est composé de 3345 tuyaux de bois et d’étain. La tribune en pierre et sa balustrade sont construits par Richard Legrand et Jacques Gaillardon, maître maçon. Ils les décorent richement : musiciennes, motifs végétaux, anges, soldats, chimères et vierge à l’enfant. Des statuettes tout en haut sont même articulées et quatre lanternons, surmontant l’ensemble, lui donne un aspect majestueux.
En 1542, les facteurs rouennais Antoine Josseline et Gilbert Coquerel construisent l’orgue. Au cours des siècles, divers travaux sont effectués pour améliorer et augmenter l’instrument. C’est en 1738 que Jean-Baptiste Nicolas Lefebvre transforme le plus l’instrument en y plaçant notamment un buffet, le positif, en son centre, suspendu dans la nef. D’un clavier, l’orgue passe à quatre. L’orgue traverse la révolution sans gros dommage, grâce à son titulaire d’alors, Le Maignen, qui joue des airs patriotiques. L’orgue a aujourd’hui une renommée internationale autant pour ses qualités musicales que pour son splendide buffet.
Voilà pourquoi, un arrêt à Caudebec-en-Caux pour cette dentelle de pierre là, encore ajourée par la folie des hommes. Pour cette beauté là, sous ce ciel là qui a tant été prié et a si merveilleusement lancé des flèches de pierre vers les nuages impénétrables du grand ordonnateur.