Le nom de la localité est attesté sous les formes Waringivilla en 1035, "la ferme de Waringar", nom de personne germanique, Ware[n]gervilla au XIIe siècle. De l’histoire de Varengeville-sur-Mer, on connaît très peu. Que son patronyme lui vienne du nom germanique "Warengar" ou des Varègues où ces Vikings aussi appelés Varanges, le village est un lieu d'histoire où se sont succédées de grandes civilisations comme les Romains ou les Normands. Quelques restes anciens signalent la une présence des Calètes, peuple gaulois qui a donné son nom au pays de Caux. Les vestiges d’une villa, situés sur le territoire de la commune de Sainte Marguerite-sur-Mer (3 km), au lieu-dit de la butte de Nolent, témoignent de la conquête romaine.
Des Ve et VIIIe siècles, période de la formation du royaume franc de Neustrie et de l’évangélisation de l’Europe barbare, il subsiste la dédicace au moine Valery de l’église de Varengeville-sur-Mer. À la suite des coûteuses guerres de religion, Charles IX et Henri III ont été contraints de vendre une partie du patrimoine de l’Église de France non nécessaire au culte. À cette occasion, le fief de Varengeville-sur-Mer a été vendu en 1569 à Jacques de Bauquemare (1518- 1584), déjà propriétaire des terres et du manoir de Jehan Ango (1480-1551). Jusqu’à la fin du XVIe siècle, le fief de Varengeville-sur-Mer appartenait en grande partie à l’abbaye de Conches. On voyait encore au XIXe siècle de nombreuses traces de fortifications au lieu-dit le Câtelier, malheureusement disparues aujourd'hui et qui n'ont jamais fait l'objet de datations précises.
Ce petit coin de côte, aux portes de Dieppe, revêt tous les aspects d’un paradis sur terre. Le village se trouve séparé du littoral par une bande forestière : Bois de Vastérival, Morville, Bois des Moutiers, Bois de l’Aunay, Bois des Saules. À l’abri des hauts talus plantés de hêtres, entre lesquels serpentent "cavées" et rues, se cachent les maisons de Varengeville-sur-Mer. Le village s’étire sur plus de deux kilomètres, traversé par deux rues parallèles qui ne laissent qu’à peine deviner les étroits chemins perpendiculaires où se nichent, entourés de grands arbres, de belles et vastes demeures atypiques, édifiées pour la plupart au XIXe siècle.
Pour accéder à la mer, il faut emprunter des valleuses, brèches dans la muraille calcaire connues des initiés. Varengeville-sur-Mer dispose de deux plages sauvages, la plage du petit Ailly appelée aussi la glacière et la plage de la gorge des moutiers, accessible uniquement à pied, située sous l'église Saint-Valery et son fameux cimetière marin, en prolongement du parc des Moutiers. Monet, Pissarro, Braque, Cocteau, Breton, Prévert... La liste des artistes tombés sous son charme est longue et prestigieuse.
Pour débuter votre visite, direction l’église Saint-Valery et son cimetière marin situés au bord de la falaise de 80 mètres de hauteur, non loin du "Câtelier" que les autochtones nomment "la tombe du petit doigt de Gargantua". Ouverte sur la Baie de Dieppe et surplombant la mer, l’Eglise Saint Valéry offre un point de vue exceptionnel pour contempler le littoral. L'église est dédiée Valery de Leuconay, pour lequel Guillaume le Conquérant avait une grande vénération. Il fit prélever une partie de ses reliques et les emporta dans différentes églises d’Angleterre. Il en déposa aussi en Normandie, dans ce qui est de nos jours la commune de Saint-Valery-en-Caux, située à l'ouest de Varengeville-sur-Mer.
L’église Saint-Valery , construite en silex et en tuf à partir de 1035 par les moines de l’Abbaye de Conches se trouvait à environ 1 km de la mer. A cause de l’érosion, la mer est maintenant à ses pieds. L'église Saint-Valery se compose de deux nefs : la plus ancienne au nord date des XIIe et XIIIe siècles et est construite en silex ; elle est couverte par une belle charpente caractéristique du style roman. L'autre nef, est en style gothique et construite en moellons de grès, matériau que l'on trouve également dans la région. Il suffit de regarder la plage en contrebas pour apercevoir les gros blocs de grès échoués ici et là. Son emploi en architecture est plus tardif que le silex. Cette nef est couverte d'une charpente caractéristique du style gothique. Cette nef latérale date de 1548, probablement construite par Jehan Ango, pour agrandir le sanctuaire primitif.
A remarquer la colonne torse ornée de reliefs curieux inspirés par les expéditions maritimes. La troisième colonne est polygonale, tête coiffée à la mode Henri II. Dans la grande nef, statue en bois polychrome de Saint Valery, patron de la paroisse, œuvre du dieppois Michel Borlé et une belle Vierge au Calvaire. Les fonds baptismaux sont de 1613 : vasque avec têtes d’angelots autour de la cuve soutenue par un pied aux feuilles d’acanthes. Pierre tombale de 1634 adossée au mur nord et tout près l’inscription funéraire de Jean Guibert du XVIIe siècle.
La présence de ces deux nefs fait que, contrairement à beaucoup d'églises, celle de Varengeville-sur-Mer n'a pas la forme d'une croix latine. Entre les deux nefs, on note le pilier-colonne polygonal, décoré de sculptures représentant une coquille Saint-Jacques, sans rapport avec le pèlerinage de Compostelle, des têtes de personnages dont certains coiffés à la mode Henri II, des rosaces, des blasons dont l'un porte un dauphin couronné et un soleil. Parmi les personnages figurés, l'un ressemble à un marin en train de vomir, l'autre à un chef indien, témoignages du voyage des Dieppois, notamment Jean Ango, vers des terres lointaines.
Le porche d'entrée de l'église Saint-Valery date du XVIe siècle et s'ouvre dans la nef sud. Le carré du transept ainsi que le triple chevet plat sont voûtés sur croisée d'ogives. Au carré du transept, faisceaux de colonnettes, arcs en tiers-points du XVIème siècle et clef pendante. Le Christ est du XVIIIème siècle. L’autel monolithique en pierre d’Oise est récent (entreprise Lanfry). Il remplace l’autel consacré en 1928 qui était l’œuvre de Joséphine Vasconcelos. Passant à gauche, remarquez la belle clef pendante et les voûtes du XVIème siècle. Curieux encorbellement en étage. Au dessus de la porte de la sacristie, la date de 1643 en précise la construction.
Cependant, l’intérieur de l’édifice se démarque aussi surtout avec ses vitraux. Le Chœur baigne dans la lumière bleue diffusée par le vitrail abstrait de Raoul Ubac, disciple de Georges Braque. L’Arbre de Jessé Oeuvre de Georges Braque, illumine le transept droit, il est l’un des plus beaux trésors de Varengeville. On trouve également des statues, dont celle de saint Valery de Leuconay, ainsi que son gisant au fond de l'édifice, et des peintures, dont une représentant Notre-Dame de Guadalupe et un tableau moderne de Michel Ciry, huile intitulée "Le Christ Rédempteur".
Le Cimetière Marin entoure l'église Saint-Valery, les tombes entourent le bâtiment, sauf du côté de l'abside. Baptisé de "marin" au début du XXe siècle en analogie au cimetière de Sète. Contrairement à ce que le qualificatif de «marin» pourrait laisser supposer, ce petit cimetière ne compte pratiquement pas de tombes de marins ou de pêcheurs. La falaise rendant l’installation d’un port impossible, il y a eu peu de pêcheurs dans le village. Il abrite notamment les tombes, parmi d’autres, de Georges Braque, Jean Francis Auburtin et Théodore de Broutelles, le compositeur Albert Roussel, le mathématicien Raphael Salem, le dramaturge Georges de Porto Riche et l’architecte Paul Nelson
L’église Saint-Valery a toujours été le sujet de nombreuses toiles par des artistes tels qu’Isabey, Corot, Monet et Pissarro. Cette belle église et son site magnifique est menacé de disparaître en raison de l'érosion de la falaise le long de laquelle il se trouve. Depuis l’église et son cimetière marin, votre balade vous emmène vers le Bois de Morville, situé Chemin des Grandes Mazures. A quelques centaines de mètres de ce cimetière marin en revenant vers le centre de Varengeville-sur-Mer, ne manquez surtout pas la visite du parc du Bois des Moutiers.
Labellisé Jardin Remarquable, le bois des Moutiers a été créé en 1898 autour d'un manoir construit par un architecte anglais dans le style Arts and Crafts qui donna naissance au Modern Style. L’œuvre intime de l’architecte Pascal CRIBIER, le Bois de Morville fut pendant près d’un demi-siècle le jardin-laboratoire du paysagiste Pascal Cribier. Fruit d’une alchimie avec Eric Choquet et Robert Morel, cette valleuse boisée dominant la mer est devenue un écrin majestueux d’atmosphères botaniques singulières : labyrinthe, prairie, verger, sous-bois et vallons sont associés comme par enchantement. Le domaine couvre 12 hectares et le parc riche en magnolias, azalées et rhododendrons est composé de deux parties : des jardins aménagés de style anglais, et un espace donnant sur la mer, entourant le manoir.
Poursuivez votre visite du village et de ses trésors par le musée dédié à Michel Ciry (1919-2018), situé Rue Marguerite Rolle. Le travail du peintre, graveur, écrivain et compositeur, Michel Ciry, tombé amoureux de la Normandie dans les années 60, est mis en lumière à travers l’exposition de peinture, d’aquarelle, de dessin et de gravure. Le Musée Michel Ciry accueille également des expositions temporaires et des concerts dans sa saison durant la saison d’été. En sortant du Musée Michel Ciry, suivre la Rue Grange des Conches, puis tournez sur la droite vers la Route de la Cayenne en direction du Manoir d’Ango, joyau de la renaissance italienne en Pays Normand du XVIe siècle.
Construit entre 1530 et 1542 par Jehan Ango, puissant armateur dieppois et proche conseiller de François Ier, le Manoir d’Ango est un surprenant monument de style renaissance qui allie l’architecture florentine et normande. Le manoir a été sa résidence d'été jusqu'à sa mort en 1551. Il pouvait voir, de la partie est du bâtiment, entrer et sortir ses bateaux du port de Dieppe, ce qui n'est plus possible actuellement à cause des nombreuses hêtraies. Le corps de logis, dont une partie comprend une loggia ornée de fresques dont l'étage est utilisé comme salle de réception, possède des façades ornées de médaillons figurant le roi, une salamandre : son emblème ou encore Jehan Ango et son épouse. Avec les dépendances, il forme une cour
Ce remarquable édifice qui a donc vu se succéder nombre de visiteurs et hôtes illustres ont séjourné au manoir, comme les poètes André Breton et Louis Aragon, se distingue également par son superbe pigeonnier, le plus beau de France. Il pouvait abriter jusqu'à 3200 pigeons, symbolisant la richesse du propriétaire, orné d'un décor polychrome en briques, silex et grès. Après cette découverte, prendre la direction du Jardin Shamrock, également labellisé "jardin remarquable". Varengeville-sur-Mer que fréquentèrent également Proust, Renoir, Prévert... vaut également pour ses magnifiques jardins. Tels celui de Shamrock, qui possède la plus grande collection au monde présentant plus de 1 000 variétés différentes d'hortensias et d'hydrangeas, certains venant de Chine et du Japon. La visite du Jardin Shamrock est un enchantement et un dépaysement jalonné de jeux d'ombre et de lumières dans les allées. Un labyrinthe a été aménagé pour les enfants.
A présent, dirigez-vous vers le château de Varengeville-sur-Mer du XIXe siècle de style Louis XIII. L'entrée principale se situé au n° 35 route de Dieppe. Un parc entoure le château auquel on peut accéder par un majestueux portail monté sur des piliers en pierre et briques. Il n'est pas totalement ceint de murs et il est facile d'observer le domaine et ses dépendances de la route. Un sentier faisant le tour du parc porte le nom de "chemin des amoureux". Il est surtout composé d'une futaie de hêtres, caractéristique du pays de Caux et de chênes. À proximité du château domine un Ginkgo biloba centenaire et dans le parc trône un remarquable marronnier bicentenaire.
La construction du château de Varengeville-sur-Mer est commanditée vers 1880 par Monsieur Frédéric Schlumberger, manufacturier à Rouen, l'architecte Lucien Lefort exécute les plans. Après le décès de Louise Quévremont veuve de Frédéric Schlumberger en 1922, Edouard Prat en devient propriétaire. Pendant la guerre, le château est réquisitionné par les allemands, lors de l'hiver rude de 1941/1942 les occupants brûlent les boiseries pour se chauffer, en 1944 pour les mêmes motifs les Anglais finissent de brûler ce qu'il reste de boiseries dans le château. Edouard Prat retrouve après-guerre la propriété dégradée et il préfère la céder à une compagnie appartenant à la famille qui en fait une colonie de vacances pouvant accueillir près de 180 jeunes. Dans les années 1990 Les Houillères de Lens cèdent le château aux propriétaires actuels qui en font un lieu de réception pour mariages, séminaires et expositions.
A proximité se trouve la Chapelle Saint-Dominique. Nichée entre les arbres le long de la route à l’entrée de la Commune en venant d’Hautot sur Mer, la Chapelle Saint Dominique est accessible par un tout petit chemin à peine visible pour qui ne le connaît pas. La chapelle, tout en pierre, moellons et briques, est issue de la transformation d'une ancienne grange du XVIIIe siècle en 1953. Cette transformation est destinée à remplacer un édifice en bois détruit lors du raid canadien de 1942. Les trois vitraux, installés dans le chœur sont des dons de Georges Braque lui-même. Un ange de bois sculpté veille sur l’ensemble. Vous pouvez également admirer une toile de Maurice Denis datant de 1916.
Reste à apprécier le patrimoine naturel de Varengeville-sur-Mer pour découvrir tous les paysages. Ce n’est pas un hasard si, tous les peintres et écrivains qui se sont aventurés sur la Côte d'Albâtre y ont un jour posé leur chevalet ou leur cahier d’écriture pour s’imprégner de l'atmosphère et des couleurs de Varengeville. Claude Monet, Georges Braque, Guy de Maupassant et bien d’autres visiteurs prestigieux ont marqué de leur empreinte ce village côtier. Depuis l’église et son cimetière marin, votre balade vous emmène vers la mer, de valleuse en valleuse, vous fait traverser ses bois et ses plaines en privilégiant les sentiers discrets et parfois même intimes. Situé en haut de falaise, le Bois des Communes, propriété de la commune est un Espace Naturel Sensible. Le Bois abrite une végétation tout à fait originale pour la Haute-Normandie grâce à un sous-sol particulier, acide et humide. C’est ainsi qu’un petit air de Bretagne ou d’Écosse se dégage lorsque l’on découvre la lande présente sur le site.
Entre Pourville et le Phare d’Ailly, pas moins de 5 descentes (les Valleuses) à la mer constituent des itinéraires de promenades particulièrement appréciés. La Valleuse de la descente du Petit Ailly est très fréquentée notamment par les pêcheurs car une «moulière» se tient à quelques mètres du parking. La gorge des Moutiers est sans doute la plus pittoresque des valleuses. Elle se trouve sous l’église et son accès est régulièrement amélioré. On peut y accéder aussi par un chemin venant de la rue de l’Aumône longeant le Parc des Moutiers. Enfin, vers Sainte Marguerite, se tiennent deux autres gorges : la gorge de Morville, sous l’Hôtel de la Terrasse, encore appelée « gorge à Pélouard », du nom de l’ancien propriétaire de cet hôtel. Puis la gorge de Vasterival, sur le territoire de la commune de Sainte Marguerite : cette valleuse jadis entourée de somptueuses villas dont une s’appelait « Le Château » est la descente privilégiée des pêcheurs puisqu’elle est la plus proche des fameux rochers de l’Ailly. C’est par cet accès que les Anglais ont pénétré sur le sol français en 1942 pour détruire la batterie de canons lors de l’opération Jubilée. La côte d’Albâtre c’est 130 km de côtes, il y a donc de quoi faire !