Quel est le touriste qui, avant d'entrer dans Conches-en-Ouche, n'a pas aperçu à sa droite, sur le coteau qui borde la ville de ce côté, un vieux donjon dont les ruines, enveloppées d'un lierre toujours vert, présentent un aspect si pittoresque. Avec un peu d'imagination, vous pouvez imaginer ce que fut la forteresse au temps de sa splendeur. La forteresse de Conches se composait d'une grosse tour centrale ou donjon, de forme circulaire, escortée de cinq tours liées entre elles par une épaisse muraille. Cet ensemble de fortifications, placé sur une éminence conique, au bord d'un coteau rapide qui domine à l'est la vallée, se trouvait défendu du côté de la ville par de larges et profonds fossés, et c'est par là aussi qu'était établi un pont-levis pour correspondre avec les habitants. Le château de Conches domine au sud une petite valleuse qui offre un accès naturel depuis la vallée du Rouloir et dispose d’une vue dégagée sur la route de la Bonneville-sur-Iton, en direction d’Évreux. La position de cette forteresse était tellement avantageuse que les historiens l'ont mentionnée comme une des bonnes places fortes de la province.
La forteresse primitive est fondée sur ce site au XIe siècle par Roger II de Tosny, tout comme l'abbaye Saint-Pierre voisine du château. Voici son histoire. Au Xe siècle, une petite fille de Malahulce, oncle de Rollon, seigneur viking, épouse un seigneur de la région, Raoul de Cavalcamp. Il possède, entre autres, la terre de Tosny, dont il prendra le nom. On ne parle pas encore de Conches, mais de Castillon ! A l’origine le lieu se nommait Castellio en latin médiéval en raison de la présence sur place de plusieurs camps gallo-romain. Le Castellio antique est devenu Castillon ou Châtillon (Castillon en normand septentrional et occitan, Chastillon en normand méridional et en ancien français, d'où Châtillon).
Roger Ier de Tosny, bâtit un fort près de l'étang du vieux Conches. Mais plus tard cet emplacement fut abandonné, et Roger II de Tosny vers 1173, construisit à son tour, sur un coteau à l'est, dominant la pellte vallée du Rouloir, une forteresse importante. Cette ville a passé par toutes les vicissitudes des guerres féodales, au milieu du XIe siècle, des remparts entourent la ville naissante. Tantôt partisan des Anglais, tantôt du Roi de France, les remuants compte de Tosny remplirent tout le XIIe siècle de leurs luttes sanglantes contre leurs fiers voisins de Breteuil-sur-Iton, de Beaumont-le-Roger et d'Evreux dont le curieux épisode de la Guerre des Belles Dames.
La royauté française s'affermit, Philippe-Auguste, après la prise du Château Gaillard des Andelys, occupe Conches au printemps 1199. La seigneurerie de Conches en 1202 échoua pour peu de temps aux Courtenay, cousins du roi. Le château de Conches est agrandi, des tours de flanquement sont ajoutées à l'enceinte extérieure. Au traité de Mantes de 1354, la ville et sa forteresse sont données par le roi de France Jean II le Bon au roi Charles II de Navarre, dit le Mauvais, avec le comté de Beaumont-le-Roger, la vicomté de Pont-Audemer et le Clos du Cotentin. Le Mauvais confie la ville au captal de Buch Jean de Grailly, qui la confie à son tour à son oncle Archambaud. Prétextant que le captal était passé aux Anglais, Bertrand du Guesclin fait le siège de Conches en 1371 et reprend la forteresse. Un accord est signé le 4 février 1371 et les Navarrais évacuent la ville. Cette reddition sept ans avant la conquête des biens du roi de Navarre par Charles V vaut à Conches de ne pas être détruite comme les autres forteresses de Charles II de Navarre.
Henri V d'Angleterre s'empare du château en 1420. Conches est reprise par les Français en 1440 et dès l'année suivante par les Anglais. Les Anglais accroissent la puissance défensive du château, sous les ordres du fameux Captal de Buch. Cependant, un des compagnons de la Hire, Robert de Floques, baîlli d'Evreux s'en empare en 1449. Il est nommé Capitaine de Conches et la garnison ennemie se retira avec armes et bagages. L'avènement d'Henri IV amène le mouvement de la Ligue, Conches reste fidèle au Roi. Les Ligueurs, vaincus d'abord, saccagent la cité et l'Abbaye en 1590. Le château-fort ne se relèvera jamais des dégâts qu'ils y causèrent. Restant un point d'appui potentiel pour les ennemis de la monarchie, il est démantelé au XVIe siècle.