La saussaie, du latin salis, suffixé au féminin, est un nom plus que fréquent en toponymie, les saussaies sont des lieux humides, où prospèrent les saules. Dans les actes anciens, le hameau de la Saussaye est mentionné sous plusieurs appellations : la Saucée, la Saulcée, la Chaussaye, parfois la Saucoye… Il est probable que le village doive son nom à la présence de nombreux saules qui ont toujours poussé spontanément dans ses terres humides et argileuses. Quant à l'origine du hameau lui-même, l'examen d'objets et de vestiges divers remontants à l'époque gauloise permet de penser que les premiers habitants seraient venus d'Elbeuf-sur-Seine. L'histoire du hameau de la Saussaye commence avec les Seigneurs d'Harcourt.
Une des plus grandes seigneuries et dynasties féodales de Normandie, la maison de Harcourt, nommée plus tard la maison d'Harcourt, est issue d'un lignage aristocratique d'origine scandinave, compagnons de Rollon. Bernard le Danois s'installe en Normandie avec ses compatriotes vikings vers 900. Il est compagnon de Rollon. Rollon nomme Bernard le Danois Gouverneur et régent du duché de Normandie vers 911. Il lui attribue la seigneurie d'Harcourt, près de Brionne, et le comté de Pont-Audemer. Bernard le Danois sera Vicomte de Pont-Audemer, Comte de Rouen, Seigneur d'Harcourt. Il meurt en 955.
Torf, son fils, devient Seigneur d'Harcourt. Et ainsi de suite de père en fils, ou de frère en frère, les Seigneurs d'Harcourt traversent le temps. La baronnie d'Harcourt fut érigée en comté d'Harcourt, conjointement avec les seigneuries de Lillebonne, Troispierres, La Saussaye et Elbeuf, par lettres de Philippe VI en mars 1338. Outre de grands barons, la première maison d'Harcourt compte parmi ses cadets de grandes personnalités politiques, intellectuelles et ecclésiastiques. Guillaume d'Harcourt, mort en 1327, fils de Jean Ier d'Harcourt et de Alix de Beaumont-en-Gâtinais, fille de Jean Ier de Beaumont-en-Gâtinais et d'Alix de Mauvoisin, fut Seigneur d'Elbeuf et de la La Saussaye, Conseiller du Roi, Grand maître d'hôtel et grand-queux de France. Il épousa en première noce Jeanne de Meulan, Baronne de Neufbourg, puis Isabeau de Léon et enfin Blanche Clémence d'Avaugour.
À l’emplacement d’une petite chapelle en ruine, Guillaume d'Harcourt fit construire de 1307 à 1317, la Collégiale de La Saussaye dédiée à Saint-Louis. La Collégiale, dont les murs étaient restés debout, fut reconstruite au XVIe siècle et à la fin du XIXe à la suite de plusieurs incendies au cours desquels furent détruits les peintures murales intérieures, les baies, les vitrages et la toiture. En 1317, Guillaume d'Harcourt, baron d'Elbeuf, grand queu de France, établit un chapitre séculier dans l'un de ses fiefs, La-Saussaye, paroisse de Saint-Martin-La-Corneille, en une chapelle dédiée au saint roi Louis qu'il a commencé à faire construire dix ans plus tôt. L'acte de fondation, signé de la main de Guillaume d'Harcourt, date de 1317.
Les treize chanoines devront tous être prêtres, parmi eux siègent un doyen et un chantre tous deux élus par les chanoines. La collégiale Saint-Louis de La Saussaye était le siège d'un chapitre canonial, composé de chanoines résidant dans les petites maisons situées autour de la collégiale. Les possessions sont considérables, principalement des rentes sur des moulins mais aussi des terres. Chaque prébende assure un revenu de 30 livres, le doyen a en plus 20 livres et le chantre 10. L'église est située dans un enclos où se rassemblent les maisons canoniales, dont la plus grande, celle du doyen, datant du XVe siècle, était encore debout à la fin du XIXe siècle, espace que le roi exempte en 1318 de toute juridiction temporelle et qui comporte aussi une grande cour avec un puits et un cimetière.
En 1319, le fondateur accorde au chapitre, en sa communauté comme en chacun de ses membres, la pleine franchise de tous droits dans toutes ses seigneuries. En 1323, Guillaume et sa femme Blanche d'Avaugour ajoutent encore au patrimoine de ce collège une rente de 200 livres sur la Vicomté de l'Eau à Rouen, c'est-à-dire sur les prélèvements qui affectent toutes les activités liées à la Seine en cette ville. Après la mort de Guillaume en 1327, Blanche donne 1000 livres pour parfaire la construction de l'église, autant pour acquérir des ornements et 7000 livres pour constituer une nouvelle rente au profit des chanoines, tous dons que le roi ratifie l'année suivante. Cette année-là, les chanoines fondent deux chapellenies perpétuelles au service de la collégiale.
La paroisse Saint-Martin-La Corneille, dont Guillaume d'Harcourt avait le patronage, est unie dès le départ au décanat de la collégiale, mais le doyen n'exerce la cure d'âmes que sur l'enclos, le château et leurs habitants, les autres paroissiens étant desservis par un vicaire perpétuel qu'il doit désigner. Marie d'Harcourt, épouse d'Antoine de Lorraine-Vaudémont, donne plus tard deux patronages d'église, Saint-Pierre du Bosc-Roger en 1459 et Saint-Taurin d'Hectomare en 1474. René II, duc de Lorraine (1473-1508), fonde quatre enfants de choeur.
Claude de Lorraine, seigneur du lieu de 1508 à 1550, supprime la treizième prébende. En août 1553, la collégiale fut entièrement détruite par un incendie et reconstruite en style gothique grâce à la générosité du roi de France Henri II, et des ducs d'Elbeuf. ers 1563 les chanoines firent murer les portes et enclore l’enceinte pour se protéger des « brigands de nuit » et des ligueurs protestants. Le chapitre, dont les maisons d'Harcourt puis de Lorraine ont toujours détenu le patronage, disparaît le 7 janvier 1791, mais le bâtiment, devenu église paroissiale, est toujours en élévation, après des reconstructions.
Elle abritait aussi la sépulture familiale des comtes, puis ducs d'Elbeuf, ses fondateurs, sépulture qui fut profanée en 1793. Le 22 novembre 1793, Ricalte, doyen des chanoines nommé maire fit ouvrir les tombeaux des seigneurs d’Elbeuf inhumés dans la collégiale, le plomb des cercueils et une partie de celui de la toiture de l’église furent envoyés au chef lieu qui était Louviers, où on en fit des balles. Les cloches démontées également servirent à fondre les canons.
Le 22 janvier 1808, la commune de La Saussaye fut supprimée et son territoire fut rattaché à celui de St Martin la Corneille. L'église St Louis devint alors le lieu de culte des deux communes. Puis un nouvel incendie ravagea la collégiale en août 1875. Les travaux de reconstruction durèrent quatre ans et l'église retrouva son état primitif que l'on peut voir actuellement. Aujourd'hui, la Collégiale Saint-Louis de la Saussaye abrite aujourd'hui un musée des Charitons.
La façade occidentale de la Collégiale Saint-Louis de la Saussaye est précédée d’un petit porche avec toiture à double pans et voute en berceau reposant sur des piliers de style gothique flamboyant. Il couvre un portail avec une voûte en forme d’arc brisé. Le mur pignon comprend un autre niveau d’élévation constitué d’une lancette avec arc brisé surmonté de deux minces ouvertures rectangulaires. La façade est flanquée d’une tour-clocher de base carrée épaulée par deux contreforts pour chacune de ses faces et comprenant trois nivaux d’élévation. Le premier est percé d’une mince ouverture rectangulaire sur sa face Est et le troisième est ouvert de deux baies avec arc brisé comportant dix abats-son sur chacune de ses faces avec en plus une horloge les surmontant pour sa face Ouest. Les quatre coins sont ornés d’une gargouille au niveau de la toiture en pavillon surmontée d’une croix en fer forgée. 
À l'est, depuis la mare et depuis le labour des "Vingt Acres", s'étend la forêt d'Elbeuf-sur-Seine. Lors de l'apparition de la province appelée 