Si l'emplacement a sans doute des antécédents anciens, le toponyme semble être d'origine gauloise. Le nom de la localité de Valmont est attesté sous les formes Walemunt et Galemunt au XIIe siècle, Walemont en 1236, Walemont en 1262, Walemont en 1272, Vallemont en 1300, Valmont en 1385. Mont se réfère vraisemblablement à la hauteur sur laquelle a été construit le château, à noter aussi que l'église se trouve également en hauteur, en contrebas du château qui surplombe la vallée de la rivière de Valmont.
Valmont a toujours été un lieu stratégique. A l'époque mérovingienne, un compte est à Fécamp, il est aussi veneur car la forêt est encore importante à l'entour. D'après la légende, 662, un cerf divin ordonne au comte Waringer de fonder une abbaye de Fécamp. Puis les raids des Vikings et la cession de la Normandie à Rollon amènent des très nombreux colons Scandinaves en pays de Caux. Rollon divise la terre entre ses fidèles, attribuant des lots nombreux. Au Moyen Age, Fécamp est le seul port important entre Harfleur et Dieppe, c'est une porte centrale avec une vallée pénétrant vers l'intérieur, la Valmont, d'où l'importance de la localité portant ce même nom. En cinq siècle, de petit seigneurs du pays de Caux sont devenus de puissants barons.
En 1087, Guillaume le Conquérant décède, partageant sa succession entre Robert Courteheuse, fils aîné, qui est le nouveau duc de Normandie et Guillaume le Roux, fils puîné, qui devient roi d’Angleterre. Une lutte fratricide commence alors. Pour se protéger contre un éventuel débarquement à Fécamp des troupes de Guillaume, Robert organise un rideau défensif à quelques lieues de la côte. Valmont en est l’élément principal, situé au carrefour de deux voies essentielles : Fécamp-Rouen d’une part et Harfleur-Dieppe d’autre part. Ce qui est essentiel pour la circulation rapide et efficace des troupes.
Le fief de Valmont fut possédé par les Estouteville, qui y fondèrent une abbaye en 1169. A cette date, Valmont faisait figure de résidence principale du lignage et le vieux fief d'Étoutteville était, semble-t-il, passé depuis longtemps au second plan. Sur place, il subsiste les restes d'un château de pierre considérable, établi sur un éperon abrupt qui domine la vallée. Sa pièce maîtresse est un gros donjon carré à contreforts, établi à l'extrémité de l'éperon et jadis isolé du plateau par deux lignes de défense incurvées, dont il ne reste que quelques traces. Le donjon passe pour avoir été édifié par Robert d'Estouteville, avant 1106.
Des personnages hors du commun ont marqué l'histoire de la Normandie avant de s'allier à la famille de France puis à la famille princière de monaco. En effet, la grande famille noble des seigneurs de Valmont se retrouve dans la lignée des rois de France et des princes de Monaco. Jacques IV de Matignon (1689-1751) est un descendant de la famille d’Estouteville, seigneurs de Valmont (près de Fécamp, en Normandie). Son père ayant hérité des fiefs du duché, en 1711, d’une branche parente, il se marie avec Louise-Hippolyte Grimaldi en 1715 et doit abandonner son nom et ses armes. En 1731, il accède au trône sous le nom de Jacques Ier de Monaco. En souvenir de Grace Kelly, épouse du Prince Rainier III, les Valmontais ont baptisé leur école maternelle du nom de Grace de Monaco.
Valmont est donc un bourg castral qui s’étend au pied de son château dont il est l’émanation, accueillant d’abord les ouvriers constructeurs et tout ce monde nécessaire à « l’intendance », puis un commerce florissant qui attire toute la campagne environnante. La configuration du bourg est caractéristique, avec une disposition en rayons de roue, organisée autour de la place. Chaque propriété dispose d’une façade ouverte vers la place et une arrière cour donnant vers la rivière ou vers la rue neuve, actuelle rue Louis Barbier. Sur cette place se trouvent l’église et son cimetière, le prétoire, la geôle, le pilori, la halle aux grains, les hallettes. Deux fois par semaine s’y déroule le marché.
Prenez le temps de déambuler dans les ruelles du village pittoresques ; Valmont c’est également une architecture typique du Pays de Caux. Appréciez les façades de briques et de silex, les maisons à pans de bois. Guidés par des tables de lecture vous découvrirez l'histoire de ce petit village édifié aux sources de la Valmont. Cette promenade dans les sentes du bourg vous emmènera près du château et de son donjon construit au temps des premiers Ducs de Normandie, puis près de l'abbaye bénédictine fondée au XIIème siècle par le seigneur Nicolas d'Estouteville.
Au cours de votre visite de Valmont , faites un tour à l’église Saint-Nicolas datant du XIXe siècle, bâtie devant la porte principale de l'enceinte castrale. Située sur la place principale, et arrêtez-vous le temps d’admirer le contraste des piliers en briques rouge qui contrastent avec le socle en pierre blanche. Récemment rénovée et construite avec des pierres ornées, vous pourrez y contempler de beaux vitraux. Vous serez ébahi face au système d’ouverture hyper particulier de la porte d’entrée.
Poursuivez vers le château. Une fois la seconde table de lecture atteint, retournez-vous et ouvrez grand les yeux. Une splendide vue du Château de Valmont s’offre à vous, au travers des arbres. Le château de Valmont fut bâti en 1110 par Robert d’Estouteville. Le château qui, en des temps troublés, a protégé la famille d'Estouteville, les Grimaldi, et l’abbaye, nécropole des Estouteville. Au cours des siècles, le château a subi de nombreuses dégradations. Propriété de la famille de Monaco jusqu’en 1805, le château est détruit en grande partie au XIXè siècle. Puis la gestion fut confiée à des Comités d’entreprises qui en firent un parc de loisirs très réputé dans la région. Aujourd’hui, le nouveau propriétaire a entrepris de grands travaux de rénovation. Le château n’est pas visitable.
En retournant sur vos pas, vers le centre-ville de Valmont, ne manquez pas la maison à pans de bois. La forme de sa toiture, les détails sculptés sur le bois et la disposition de ses briques, la rendent incomparable ! C’est ensuite le moment de passer dans ce qui est probablement la ruelle la plus étroite du village, pour atteindre l’un des nombreux moulins à eau, autrefois actif sur la Valmont. Revenez ensuite sur les rails de cette visite avec le passage par l’ancienne gare et la ligne de chemin de fer. Autre étape à ne pas manquer, celle de l’Abbaye Notre-Dame-du-Pré, où la quiétude et le calme règnent en maître.
L’Abbaye Notre-Dame-du-Pré de Valmont fut fondée en 1169. L’Abbaye possédait de nombreuses terres et avait une grande importance dans toute la région. Après la séparation de l'église et de l'Etat, l'abbaye construite par Nicolas D'Estouteville à été rachetée par l'oncle d'Eugène Delacroix. Entre 1813 et 1849, celui-ci y a séjourné durant de nombreuses années, son journal en témoigne comme bon nombre de ses œuvres.
Retourner vers votre point de départ, c’est donc au "Vivier", source du fleuve, que se termine ce circuit. Longez la rivière pour rejoindre sa source et découvrez le Vivier, ancienne réserve de poissons pour les gens du château. Orné d’arbres centenaires, il fût plus tard le lieu de promenade de personnages célèbres tels que Maupassant, Georges Cuvier ou Eugène Delacroix. De nombreux étangs ponctuent la vallée où il n’est pas rare d’observer une faune bien particulière comme des hérons cendrés, grands cormorans... La Valmont au bord de laquelle se dressaient 9 moulins à blé ou à huile, s’écoule jusqu’au port de Fécamp où elle se jette dans la mer. ne promenade autour du fleuve de La Valmont, qui plaira aux plus petits comme aux plus grands.
Profitez de votre passage à Valmont, pour découvrir également le parc de l’abbaye de Jumièges. Ce parc de 15 hectares entoure les ruines de l’abbaye Saint-Pierre de Jumièges. Le parc est orné de plusieurs vieux chênes séculaires et d’autres espèces d’arbres.