Le nom de la localité de Valmont est attesté sous les formes Walemunt et Galemunt au XIIe siècle, Walemont en 1236, Walemont en 1262, Walemont en 1272, Vallemont en 1300, Valmont en 1385. Il s'agit d'une formation toponymique médiévale en -mont au sens de « colline, hauteur » appellatif précédé du nom de personne scandinave Váli en vieux danois Wale que l'on rencontre dans plusieurs noms de lieux de Normandie. Mont se réfère vraisemblablement à la hauteur sur laquelle a été construit le château qui surplombe la vallée de la rivière de Valmont. Effectivement, le château de Valmont, qui était probablement en bois à son origine, se trouve sur un lieu élevé, dominant la vallée, triangulaire, appelé éperon barré, protégé sur deux côtés par la pente naturelle et par un fossé aménagé au niveau du troisième côté.
A l'époque mérovingienne, un compte se trouve à Fécamp, il est aussi veneur car la forêt est encore importante à l'entour. D'après la légende, 662, un cerf divin ordonne au comte Waringer de fonder l'abbaye de Fécamp. En 911, après le traité de Saint-Clair-sur-Epte, le Roi de France Charles III concède à Rollon (né en Scandinavie vers 846 et mort à Rouen vers 932) l'actuelle Haute Normandie dans l'espoir que les Vikings, devenus ainsi propriétaires terriens, épargnent le royaume de France. Rolf le Marcheur, fréquemment latinisé en Rollon ou plus rarement Robert Ier le Riche, est un seigneur viking qui pille le littoral de la Frise, de l'Austrasie puis de la Neustrie. Devenu jarl des Normands de la Seine et comte de Rouen, en 911, Rollon participe à la première vague d'expansion de son territoire, qui constituera, plus tard, le duché de Normandie. Considéré également comme le premier duc de Normandie.
La cession de la Normandie à Rollon amènent de très nombreux colons Scandinaves en pays de Caux. Rollon divise la terre entre ses fidèles, attribuant des lots nombreux. Au Xe siècle, sur ce rocher surplombant la vallée menant à Fécamp, une première forteresse féodale est aménagée, Valmont est un lieu stratégique. Au Moyen Age, Fécamp est le seul port important entre Harfleur et Dieppe, c'est une porte centrale avec une vallée pénétrant vers l'intérieur, la Valmont, d'où l'importance de la localité portant ce même nom. En cinq siècle, de petit seigneurs du pays de Caux sont devenus de puissants barons. Des personnages hors du commun qui ont marqué l'histoire de la Normandie.
Le fief fut possédé par les Estouteville. Robert Ier d'Estouteville, mort après 1080 est seigneur de Valmont et d'Etoutteville en pays de Caux. Entre 1188 et 1100, il reçoit de Guillaume le Roux la majeure partie de l'honneur de Hugues Fitz Baldric dans le Yorkshire, mais semble être impliqué avec son fils dans la guerre entre Robert Courteheuse et son frère Henri Beauclerc. Robert II d'Estouteville devient l'un des fidèles du duc Robert Courteheuse qu'il accompagne en 1096 à la première croisade. En 1105 se profile la guerre fratricide qui va opposer Henri Beauclerc, roi d'Angleterre, à Robert, duc de Normandie. Il renforce alors ses châteaux du pays de Caux.
Robert Courteheuse confie cette organisation à un fidèle compagnon de son père depuis Hastings, Robert d’Estouteville qui a déjà fait la preuve de son expertise en matière de décence, avec la construction d’un important château sur motte à Etoutteville, près d’Yvetot, son fief d’origine. Il est donc probable Robert II d'Estouteville ait substitué aux fortifications de terre et de bois de Valmont, un solide donjon de pierre. La famille d'Estouteville y fondèrent également une abbaye en 1169. A cette date, Valmont faisait figure de résidence principale du lignage et le vieux fief d'Étoutteville était, semble-t-il, passé depuis longtemps au second plan. Descendante des Vikings, la famille d'Estouteville compte plusieurs personnages importants dans l'histoire de la Normandie.
La guerre de Cent Ans ne l’a pas épargné, le Château de Valmont a subit d’innombrables dégradations. En 1415, après la défaite Française à Azincourt, le château passe entre les mains des Anglais. Pris et repris plusieurs fois, Valmont ne compte plus que neufs chefs de famille au lieu de soixante-dix avant cette guerre. La forteresse a beaucoup souffert. Michel d’Estouteville en assure la reconstruction quasi complète, à partir de 1469. Seul le donjon a résisté.
Au XVe siècle, le château revient à la couronne de France suite à la reconquête de la Normandie. En ce siècle, le château appartient à Jacques d'Estouteville. Il agrandit les bâtiments et améliore les systèmes défensifs car les Bourguignons de Charles de Bourgogne, dit Charles le Hardi ou Charles le Travaillant, plus connu sous son surnom posthume de Charles le Téméraire, (né le 10 novembre 1433 à Dijon et mort le 5 janvier 1477) saccagent châteaux et terres en Normandie.
Au XVIe siècle, le calme de la Renaissance permet à la Normandie de transformer les vieilles forteresse en château habitable. En 1537, Adrienne d’Estouteville et son époux, très proche de François 1er, transforme l’aile sud du château dite "François Ier" en une résidence lumineuse et raffinée. L'aile dite "François Ier" est donné suite à la visite du roi lors leur mariage en ces lieux. Au XVIIe siècle, le château passe de mains en mains sans véritable campagne d'entretien.
A la Révolution, le district envisagea la destruction de la forteresse, projet qui fut abandonné car l’état est propriétaire de la moitié du domaine et le régisseur, Jean Labbé, est aussi maire de la nouvelle commune de Valmont. Au XVIIIe siècle, les multiples propriétaires n'entretiennent plus les vieux murs du château. Ce dernier a été la propriété de la famille Monaco jusqu’en 1805. La famille Grimaldi, descendante des Estouteville, est propriétaire du duché d’Estouteville, donc de la terre de Valmont, qu’elle doit vendre. Le fermier général des Grimaldi, Louis-Joseph Lecocq, par ailleurs secrétaire au Conseil du roi Louis XVI, administrateur de la Compagnie des Indes, s’empare de leurs biens pour les revendre.
En 1825, le domaine de Valmont est racheté par le vicomte Hocquart, chambellan de Charles X, qui le transforme en un haras renommé. Par contre il éprouve le besoin de « moderniser » le château en lui faisant adopter le style du XIXe siècle. Pour cela, il fait raboter toutes les sculptures Renaissance de la façade, fait disparaître la galerie du rez-de-chaussée et transforme les deux niveaux voulus par Adrienne en trois niveaux plus proche de l’aspect d’un immeuble haussmannien. Certains historiens affirment : "Qu'il s'empresse de défigurer le château en faisant abattre la plus grande partie de son enceinte féodale et, plus grave, "remanier" l'aile François Ier". Pour les Valmontais, il a défiguré le château des Estouteville.
Le domaine du château de Valmont est de nouveau acheté, en 1841, par Henry Barbet de Jouy, industriel, pair de France, maire de Rouen. Pendant trente-quatre ans, très respectueux du lieu et de l’histoire, il s’applique à entretenir le château de Valmont où il décède en 1875. Sa fille, Zoé Cibiel, devenue propriétaire, le transmet à sa propre fille, Marie Lannelongue en 1877. Les époux Lannelongue font construire la chapelle qui se trouve dans le donjon du château et le chartrier qui a accueilli les importantes archives du château. Ils se sont aussi appliqués à racheter, à chaque fois qu’ils en avaient la possibilité, les fermes que Lecocq avait dispersées. En 1930, le château est inscrit aux Monuments Historiques.
Au décès du professeur Lannelongue, Louis Potier de la Morandière hérite du château et le transmet à son fils René en 1964. Ce dernier, après l’avoir confié pendant une trentaine d’années à Tourisme, Loisirs et Culture pour y organiser un parc de loisirs, le vend en 1999 à la famille Jobmann, actuel propriétaire. Son nouveau propriétaire fait entreprendre une campagne de rénovation pour redonner son lustre à cette noble demeure. La découverte de l'extérieur du château est possible depuis la route. La visite de l'intérieur ou du parc est impossible. Le château est une propriété privée non visitable.
A l’origine le Château de Valmont, était fermé sur ses quatre côtés, mais à ce jour, il ne reste que l’aile médiévale du XIIe siècle, remaniée au XVe siècle sous Louis XI, et l’aile Renaissance conçue à l’initiative d’Adrienne d’Estouteville. Cette dernière a été restaurée en 1824. Comme nous venons de le voir dans l'historique du château, son origine remonte à la fin du XIe siècle. Très vite la pierre supplée le bois. Le donjon, partie la plus ancienne qui subsiste actuellement, est typique de cet art militaire anglo-normand du XIIe siècle, de forme carrée, renforcé de contreforts plats. Construit en brique et en pierre, le château perché sur les falaises est composé du donjon le plus ancien et le mieux conservé de la France. La tour maitresse du château, le donjon, de plan carré et a contreforts date de l’époque romane.
Quand on l'aborde par sa façade Ouest, le Château de Valmont apparaît sous son aspect féodal établi sur un éperon rocheux avec sa puissante tour carrée de 10m de coté et nantie de murs de 2,40m d'épaisseur contrebutés par des contreforts plats, reste d'une ancienne construction du XIe siècle, l'époque Anglo-Normande du château. A la fin de la guerre de Cent-Ans, seul ce donjon a été conservé. Il a bénéficié de modifications au15ème siècle par un couronnement de mâchicoulis et la création de rares fenêtres à croisées de pierre, annonciatrices de la Renaissance. Le corps de bâtiment, le "Vieux Château", qui s'adosse à ce donjon présente une façade en lits alternés de brique et de pierre, reste d'une construction réalisée au XVe siècle.
Tout autre est l'aspect de l' aile Renaissance du château, réalisée au XVIe siècle qui comportait à l'origine une haute galerie en arcades en plein cintre d'inspiration italienne, quelque peu défigurée au XIXe siècle. La galerie et l'étage d'origine ont été remplacés par une façade à trois niveaux, laissant tout de même intactes trois superbes lucarnes Renaissance dans la toiture ainsi que les pilastres de la façade s'ouvrant sur le parc.
