Le château de Dieppe est bâti, sur une terrasse, à mi-hauteur sur le flanc de la falaise de Caude-Côte, à environ 30 mètres au-dessus du niveau de la mer, dominant à l'est la ville normande de Dieppe. Le château a été construit pour assurer la défense de la ville en surveillant les côtes de la Manche, il fait partie intégrante du paysage de la ville.
Les plus anciennes attestations du nom de la cité remontent au XIe siècle : Deppae en 1015-1029, Dieppa en 1030, puis au XIIe siècle : Deppa, Deupa ou encore Diopa. Ce nom est emprunté à une appellation transitoire de la rivière qui se jette en ce lieu dans la Manche. Cette rivière appelée Tella dans les textes mérovingiens et carolingiens, est désignée Dieppe (Deppae 1015-1029) après l'installation de colons anglo-scandinaves, avant de prendre le nom de Béthune. Un petit village de pêcheurs existe sans doute dès cette époque et tire son nom du fleuve côtier né de la confluence des rivières Arques, Eaulne et Béthune.
Comme Caen, la ville de Dieppe fut apparemment fondée après 1015 par le duc de Normandie Richard II (996-1027) dans le but d’orienter l’expansion normande vers la mer. Durant cette époque du Moyen Âge, au sein du système féodal, la localité appartient au comté de Talou. Mais c’est la conquête de l’Angleterre par les Normands à compter de 1066, qui va lui donner toute son importance par le développement des relations transmanche. Le 6 décembre 1067, c'est notamment de Dieppe que Guillaume le Conquérant rembarque pour l'Angleterre. La ville connaît une prospérité croissante à compter du XIIe siècle.
L'origine exacte du château de Dieppe prête à confusion. Il fut certainement construit sur l'emplacement d'un premier castrum, édifiée, vers 1188, par Henri II Plantagenêt puis Richard Cœur de Lion. Cependant, en 1195, ce château est rasé et la ville incendiée par les troupes du roi de France Philippe Auguste pour affaiblir son adversaire Richard Cœur de Lion, duc de Normandie. Il incendia également tous les navires du port et fit prisonniers ceux des habitants qui n’avaient pas pu fuir. Deux ans plus, tard, en octobre 1197, Richard Ier échange le port de Dieppe en échange de la construction de Château-Gaillard à l'archevêque de Rouen, mais en 1204, après la chute de Château-Gaillard et la prise de Rouen, Dieppe et la Normandie sont annexées au royaume de France par Philippe Auguste.
Durant la guerre de Cent Ans, Dieppe joue un rôle considérable, elle se retrouve au cœur du conflit entre la France et l'Angleterre. Ce n'est qu'en 1300 d'ailleurs que Dieppe reprend son aspect de ville portuaire. En 1339, des marins et corsaires dieppois participent à un raid victorieux sur Southampton. La ville est également attaquée par les Flamands, provocants des dégâts limités. En 1420, à la suite de la bataille d'Azincourt, Dieppe est occupée par les Anglais, ils la conservent durant 15 ans.
Dieppe est finalement libérée de l'occupation anglaise le 28 octobre 1435 quand la ville est reprise par les Français commandés par le capitaine Charles Desmarets († 1469) pour le compte de Charles VII. Charles Desmarets ou Charles des Marets dote la ville de grandes fortifications et entreprend de faire construire un nouveau château. Cependant, huit ans plus tard, en 1443, les Anglais de nouveau assiègent la ville à partir du Pollet. Dieppe résiste aux troupes de Talbot et repousse définitivement les assaillants grâce aux renforts amenés par Jean de Dunois, le bâtard d'Orléans, et par le dauphin Louis, futur Louis XI.
S'ensuit une riposte anglaise ; les paysans sont massacrés et les villes reprises à l'exception d'Harfleur qui résistera jusqu'en 1447 et Dieppe, que les Anglais ne pourront jamais enlever, son gouverneur, des Maretz obtient l'autorisation d'agrandir la place et reconstruit une puissante forteresse. Deux autres tours rondes sont alors élevées. Une quatrième tour, probablement carrée et dont il ne reste plus de traces aujourd'hui, est installée sur le côté est. L'ensemble est relié par des courtines, formant ainsi un plan rectangulaire. Ce château royal est muni de deux pont-levis, édifiés pour protéger les entrées : la porte des champs et celle donnant vers la ville. En 1472, le château résista aux Bourguignons du Téméraire.
Une fois la paix revenu, la forteresse servira de logis aux gouverneurs, comme Jean Ango, Aymar de Chastes,... qui la renforceront tout au long des XVIe et XVIIe siècles. Dans la première moitié du XVIesiècle, une nouvelle campagne de renforcement défensif du Château de Dieppe est imposée à la suite des progrès réalisés par l'artillerie. Une barbacane est construite pour protéger la façade sud-est, ainsi qu'une nouvelle tour, détachée au pied du château et reliée au reste des fortifications. À la fin du XVIe siècle, une tour carrée est édifiée au sud tandis que l'enceinte est prolongée dans cette direction. Elle intègre la tour Saint-Rémy. Cette tour est un vestiges d'une ancienne église Saint-Rémy désaffectée en 1522.
Lors des guerres de Religion, en 1562, soutenus par des navires anglais, les huguenots parviennent à s'emparer de la place. Ensuite, les ligueurs du duc de Mayenne (Charles de Mayenne) et Henri IV, entre 1589 et 1594 se disputent le Château de Dieppe. A compter du XVIe siècle, les Dieppois se tournent en masse vers la mer et participent activement à la découverte et à la conquête de nouvelles terres, en Afrique, dans l'Atlantique et aux Amériques. Le plus fameux d'entre eux, Jean Ango, envoie ses navires jusqu'au Brésil. La ville, de par sa proximité avec l'Angleterre, joue un rôle considérable durant les guerres de Religion. La forteresse et la ville sont à cette occasion grandement fortifiées. Elle sont notamment précieuses à Henri IV, qui établit un camp retranché dans la cité en 1589. Il y reçoit des renforts anglais à l'occasion de la bataille d'Arques.
Construit comme une forteresse capable de résister aux assauts et aux sièges, le Château de Dieppe évolue au XVIIe siècle. Les progrès de l'armement lui donnent des rôles de résidence et de caserne. On y perce alors de larges et hautes fenêtres, des toitures en poivrière couvrent les terrasses des tours. Le château devient un lieu d'habitation et de réception. La cour en est l'illustration en adoptant une fonction d'apparat. Sur la partie sud-ouest du château, une caserne est édifiée en 1630, à l'emplacement de l'actuelle salle d'exposition temporaire du musée. En 1650, la duchesse de Longueville, Anne-Geneviève de Bourbon-Condé, épouse du duc d'Orléans et sœur du prince de Conti, rassemble au château les seigneurs frondeurs, essayant vainement de soulever la Normandie, avant de devoir plier devant l'armée royale. La duchesse, enfermée dans le Château de Dieppe, s'enfuit par une fenêtre et gagnera Le Havre puis Rotterdam.
En 1694, la flotte anglo-hollandaise bloque le port et à la suite d'un violent bombardement, la ville est détruite et le Château de Dieppe endommagé. Durant plusieurs siècles, le château est exclusivement habité par des soldats. On y trouve des installations rustiques mais essentielles à leur vie quotidienne : citerne récupérant les eaux de pluie, cuisines avec fours à bois, lieu de stockage pour les armes et les munitions,... Au XVIIIe siècle, sur son flanc sud est érigé un long polygone de remparts. Progressivement l'usage militaire du lieu décline. La Révolution française trouve son intérêt politique en transformant l'édifice en geôle pour y enfermer les contre-révolutionnaires. Au XIXesiècle, le Château de Dieppe est transformé en caserne.
En 1829, Dieppe est déclassée comme place de guerre, à l'exception notable du Château de Dieppe. La ville devient à partir de 1870 une ville balnéaire et touristique importante. Dans l'esprit romantique de l'époque, le château se transforme progressivement en un lieu de promenade. Le déclassement du château intervient quant à lui en 1899. En 1903, la ville rachète l'édifice. Celui-ci ne retrouvera sa fonction militaire qu'à deux occasions : pendant la Première Guerre mondiale, il servira de base pour les soldats anglais après la libération ; pendant la Seconde Guerre mondiale, lors de la construction du mur de l'Atlantique. Le château est alors à nouveau utilisé comme place-forte par l'armée allemande. L'ensemble des défenses est constitué de murs et de blockhaus, venus renforcer les murailles et les enceintes anciennes du château
Superbe témoin des fortifications côtières de la Manche, le Château de Dieppe 
Issu de défenses d'éléphants, de dents de cachalots ou de narval, l'ivoire était importé depuis le continent africain et débarqué sur les quais de La ville. Dieppe a compté jusqu'à 300 ivoiriers réputés pour leur savoir-faire bien au delà des frontières. 