Il s’agit d’une très belle demeure de la fin du XIIIe siècle que l’histoire locale nomme "Maison des Templiers", sans doute du fait de sa ressemblance avec une autre Maison de ce nom située à une soixante de km en amont de la Seine, à Louviers. Comme toutes les rumeurs, celle-ci ne dévoile pas ses origines, mais elle vient de loin. Aucun document d’archives n’atteste de l’existence d’une maison du Temple à Caudebec. Il n’en reste pas moins que l’édifice est de fort belle facture et bien représentatif de l’époque.
Sans doute que cet édifice fut dans la cité au Moyen Âge une dépendance des moines des abbayes de Jumièges ou de Fontenelle. En tous les cas, à une certaine époque, elle a certainement servi de grenier à sel et d’entrepôt à grains pour le compte des moines de l’abbaye Saint-Wandrille toute proche. Mais ensuite ce fut une demeure privée à deux étages, avec au rez-de-chaussée une boutique ouverte directement sur la rue comme le montrent des gravures anciennes. En Normandie, au Moyen Âge, ce genre d’habitation en pierre n’était pas si exceptionnel. Il reste par exemple à Rouen plusieurs édifices bien conservés de cette époque. À Caudebec aussi, à la fin du Moyen Âge, existaient plusieurs exemples remarquables en pierre.
Elle a bien failli disparaître au tout début du siècle, en 1918, un Américain a envisagé de l’emmener pierre par pierre aux états-Unis. Elle a échappé à la destruction totale en 1940, probablement grâce à sa structure en pierre. Pendant cette guerre, un terrible incendie détruit la ville. Il ne reste plus à cette époque que la façade et les colonnes intérieures. On voit une partie qui a été restaurée en bas à gauche. C'est l'une des rares maisons normandes d'époque médiévale aussi ancienne.
La Maison des Templiers est le siège du Musée Biochet-Bréchot consacré à l’histoire et l’archéologie de Caudebec et la vallée de la Basse-Seine, où l’on trouve, entre autres choses, une collection de plaques de cheminée enrichie grâce à celles retrouvées dans les maisons incendiées pendant la guerre. On trouve aussi des poteries celtes et gallo-romaines. Divers objets, poteries, dessins, gravures et lithographies découverts entre autres sur le site du Calidu et présente également une épée viking draguée en Seine. Le musée raconte, entre autres, l'histoire de l'expédition du Latham 47 de René Guilbaud disparu en mer de Barents avec Roald Amundsen. Des concerts et des expositions y ont lieu régulièrement.
