Le village de Fécamp prend le nom de « fiscannum » : dérivé de « fisk », qui signifie poisson en vieux scandinave. Le nom est attesté dès 875 dans l'expression latine super fluvium Fiscannum, puis Fiscannus en 990. Fécamp se développe dans une vallée traversée par une rivière, jonction de deux cours d’eau : la Ganzeville et la Valmont. Cette vallée est occupée par un vaste marécage qui mêle l’eau douce à l’eau salée. Les premiers habitants sont les Calètes, un peuple celte de la « Gaule belgique » qui donnent leur nom au pays de Caux.
Pour échapper aux inondations et observer les environs, les premiers habitants de l’époque gallo-romaine choisissent les hauteurs de Fécamp (100 mètres de haut). Un oppidum est établi au lieu-dit Côte du Canada, au sud-est de la ville actuelle. On peut y voir les restes des fortifications édifiées vers le milieu du ier siècle av. J.-C.27, notamment ceux d'un rempart de type belge. Ce type de rempart est aujourd'hui appelé « Type Fécamp ». Ils trouvent à proximité le bois, l’eau et un bassin naturel servant de hâvre aux embarcations. Cette partie du littoral se nomme la côte d’Albâtre, appellation inspirée de la couleur de la craie des falaises.
Au VIIe siècle, saint Léger est déporté à Fécamp, est accueilli dans le premier monastère qui était alors une abbaye aux dames. On dit qu'il y recouvra la parole. Au IXe siècle, les Vikings détruisent le monastère lors d’un raid et il est dit que les nonnes vont se mutiler volontairement le visage, pour échapper au déshonneur. Après 911 et le traité de Saint-Clair-sur-Epte, qui accorde des terres au principal chef Viking, Rollon, contre sa promesse de ne plus envahir le royaume des Francs et de se convertir au christianisme, la région autour de Fécamp devient une zone d'implantation massive des Nortmanni « hommes du Nord ». Après la concession de terre au chef scandinave Rollon par le roi des Francs en 911, cette partie de la Neustrie prend peu à peu le nom de Normandie.
La présence massive des Anglo-danois pourrait expliquer l'intérêt que portent les premiers ducs à la ville, somme toute modeste par rapport à Rouen et aux villes épiscopales du duché de Normandie. C'est peut être Guillaume Longue-épée, qui s'y installe dès 932. Richard Ier de Normandie, dit sans peur, y est né en 933, environ cent ans après les premières destructions commises par ses ancêtres vikings. Richard Ier fait reconstruire une église, mais c'est son fils Richard II de Normandie dit le bon qui fit venir Guillaume de Volpiano pour refonder une abbaye, à savoir : l'abbaye de la Trinité de Fécamp, selon la règle bénédictine en usage à Cluny.
La première résidence ducale en bois fut édifiée au Xe siècle à l’emplacement de l'ancien monastère dévasté par les Vikings. La ville médiévale est protégée dès le XIe siècle par des fortifications qui ont pour fonction de défendre le palais des ducs de Normandie et le monastère des moines. Une enceinte très élaborée pour l'époque : ses tours et son mur d'enceinte remplacent le bois par la maçonnerie, rare et chère. Le duc dirige les conseils et préside aux festins dans "l'aula ", grande pièce d'apparat. En effet, l’abbaye se trouve à quelques mètres de la résidence ducale. Sous le règne du Duc de Normandie Richard II, la Ville de Fécamp devient la Capitale du duché et le Palais Ducal est reconstruit en pierre avec une enceinte. Le Palais Ducal sera alors rattaché au monastère de l’Abbaye de la Trinité.
Le château englobait non seulement le palais des ducs, mais aussi l'église de la Trinité et l'ensemble des bâtiments conventuels de l'abbaye. Dans son premier état, il devait être constitué de deux parties, une enceinte résidentielle formée d'un rempart de terre et d'une palissade autour des bâtiments du monastère, un second enclos plus vaste englobant une zone de jardins et de vergers dans la partie basse du site. Au XIe siècle, la palissade primitive fut remplacée par un mur de maçonnerie reposant sur une série de piles de fondation implantées dans l'épaisseur du rempart de terre et reliées entre elles par des arcs : plusieurs de ces arcades sont encore visibles aujourd'hui dans les soubassements du palais.
Au XIIe siècle, la résidence des ducs fut fortifiée par un puissant donjon de plan carré dont les fouilles ont permis de dégager la souche sur la face occidentale du " bastion ". C'est également à la période ducale qu'appartiennent les petites tours quadrangulaires qui se voient encore ici et là sur le périmètre de l'enceinte. Deux de ces tours encadrent le " bastion " du palais ; l'une au nord, dont ne subsistent que deux pans de murs, abritait le grand moulin de l'abbaye ; la mieux conservée est la tour dite "de la Maîtrise" au sud-est du chevet de l'abbatiale.
Les faubourgs se développent aux portes de l’abbaye : la place des Hallettes capte le flux des pèlerins et la rue Arquaise, menant à Arques-La-Bataille sert de voie royale. Seule la rue de Mer dessert le rivage exposé aux tempêtes. Des vestiges sont encore visibles aujourd’hui : ceux du palais transformé au XIIe siècle et des remparts, rue d’Estouteville et rue de la Fontaine. Témoin majeur des fortifications ducales, la Tour de la Maîtrise accueille aujourd’hui les ateliers du patrimoine destinés aux jeunes publics.
C'est du port de Fécamp que Robert Ier de Normandie rassembla une puissante armée et pris la mer afin d'envahir l'Angleterre afin de remettre sur le trône, Édouard et Alfred, fils d'Ethereld, chassés par le roi Knud en 1016. Richard Ier de Normandie et Richard II ont leur sépulture dans l'abbatiale de la Trinité.
À Pâques 1067, Guillaume le Conquérant célèbre fastueusement dans ce château sa victoire d'Hastings, qui le fait roi d'Angleterre. Mais il délaisse ensuite Fécamp pour Caen. À la fin du XIIe siècle, Henri II Plantagenêt, venu à Fécamp pour affirmer ses droits sur la Normandie, construit, à cheval sur l'ancien rempart, l'énorme bastion fortifié actuellement visible. Cet édifice témoigne de sa fermeté d'intention face à la volonté du roi de France. Le lieu fut délaissé au profit de Caen avec Guillaume le Conquérant et Robert le Magnifique, et n'est plus mentionné après 1162. Le dernier grand événement fécampois dont les chroniques nous ont conservé le souvenir est la cérémonie qui se tint en 1162 à l'initiative d'Henri II Plantagenêt pour le transfert des restes de Richard Ier et de Richard II en l'abbatiale de la Sainte-Trinité.
Le roi de France, Philippe le Bel prit possession de cette forteresse en 1306 et la transforma en résidence royale. Quatre tours furent ajoutées dont seules deux restent. Le souverain français y résida de 1309 à 1313. Le roi Philippe VI de Valois et son épouse Jeanne de Bourgogne y séjournèrent aussi entre 1326 et 1346. Voyant l'état dans lequel se trouvait le château, le roi Louis XIV le céda, en 1709, aux nonnes de l'Abbaye ; celles-ci firent démolir une bonne partie de la forteresse et vendirent les pierres.
Au XIXe siècle, une large tranchée fut pratiquée à l'intérieur même du château pour laisser passer la voie ferrée. Autour du palais ducal roman, des témoignages de l'époque carolingienne ont été retrouvés : monnaies et fondations de deux chapelles. En 1963, fut découvert un trésor de pièces de monnaie essentiellement franques et anglo-saxonnes, mais aussi originaires de la Méditerranée, illustrant la circulation de la monnaie dans le nouveau duché. Il aurait été enterré vers 970-980, d'après la pièce la plus récente. En 1972 et 1984, des fouilles archéologiques permirent de confirmer la présence d'un château primitif dès le IXe siècle, qui était alors en bois.
Juste en face de l'abbatiale de la Trinité, le château est uniquement visible de l'extérieur. Ces vestiges rappellent la dimension de capitale militaire que les héritiers de Rollon avaient donnée à Fécamp, de Guillaume Longue Épée à Guillaume le Conquérant. On ne peut qu'espérer que le lieu soit bientôt ouvert au public de façon permanente : ce serait un bel hommage au passé glorieux de Fécamp.
Un des panneaux présents sur le site montre un plan qui me permet de ce projeter dans ce passé grandiose. Ce château était de forme rectangulaire avec trois grosses tours. Une grande pièce sert de lieu pour la tenue des conseils et des festins. La grande salle était alors incluse dans une sorte de bastion s'élevant entre deux tours, à cheval sur le tracé du rempart du château. Ses ruines aujourd'hui restaurées constituent l'unique vestige du palais ducal. Les vestiges d’une tour qu’on imagine qui devait être carrée. Il s’agissait à l’époque de résister aux volontés du Roi de France de s’emparer de la Normandie qui sera annexée malgré tout en 1204. Les murs à arcades témoignent d’un souci d’économie de la pierre. Les remparts furent incorporés dans le château (avant, ils étaient à l’extérieur). Les fenêtres à croisillons datent du Moyen-Age." Jusqu’en 1974, il était impossible de voir les ruines du palais des ducs de Normandie.
Les remparts de Fécamp sont actuellement en cours de restauration.Ils sont édifiés en pierre calcaire de Fécamp. On trouvait au Moyen-Age des carrières par exemple sous l’église Saint-Étienne. Elle est différente de la pierre de Caen. La pierre était un matériau noble et le coût du transport restait élevé. Les fortifications datent du XIe siècle. Pour la restauration, on doit faire venir la pierre de Valence en Espagne. Sur le terrain acheté par la commune et comprenant une partie des remparts, on observe le Canal de la voûte qui va jusqu’à Ganzeville : il fut construit au Moyen-Age, captant les eaux de Ganzeville et les menant à l’abbaye de Fécamp. Guillaume de Volpiano, en 1001, explique qu’il y a l’eau courante à l’abbaye. Le canal passe sous la route de Rouen vers la Halle aux vêtements.