Si le village de Tillières-sur-Avre vous était conté, l’histoire commencerait au XIe siècle, lorsque cette importante place forte était le rempart de la frontière entre la Normandie et le Royaume de France. La cité fut l’objet de nombreux conflits entre la France et l’Angleterre. Le traité de Saint-Clair-sur-Epte, conclut en 911 entre Rollon, Rollo en latin parfois appelé parfois Robert Ier le Riche, Robert étant le nom qu'il reçut à son baptême, et Charles le Simple, roi de France, a choisi la rivière comme frontière.
Vers 1013 apparut le château de Tillières-sur-Avre, fondé sur l’ordre exprès de Richard II, duc de Normandie de 996 à 1026. Élevé sur un éperon rocheux dominant la vallée de l'Avre, entre Saint-Christophe-sur-Avre et Nonancourt, il fait alors partie de la ligne de défense sud du duché de Normandie, laquelle a pour but de contrer toute offensive du royaume de France et, plus particulièrement, du comté de Chartres. Il fut confié à la garde de 2 Seigneurs de Normandie : Raoul de Tosny et Castillon. Le renforcement de la frontière est entrepris par Henri Ier Beauclerc, troisième fils de Guillaume le conquérant, du fait de l’hostilité du royaume capétien, avec un réseau plus dense de forteresses le long des vallées de l’Avre, de l’Epte er de l’Andelle, d’où la création de Nonancourt en 1112, Verneuil en 1113, …
En 1169, Henri II Plantagenêt fortifie la frontière sud de la Normandie. Au fil des ans, au gré des relations parfois tumultueuses entre d’un côté les Ducs de Normandie puis les souverains anglais et, de l’autre, les rois de France ou leurs vassaux, Tillières grandit. Du fait de l’importance stratégique de la place et de la personnalité des Seigneurs, Tillières a eu, pendant quelques siècles, un impact et une influence sur les villes voisines. Le château de Tillières est pris par les Anglais en 1417 et subit d'importants dégâts lors de leur départ en 1447. En 1492, il est ravagé par un incendie.
Au XVe siècle, Jean VIII Le Veneur, chevalier, seigneur du Homme, épouse Jeanne, dite Agnès le Baveux, sœur de Jean, alors baron de Tillières. La mort de celui-ci fait de Jeanne la dame de Tillières et porte ainsi la baronnie de Tillières dans la famille Le Veneur. C'est ainsi que le nom de Tillières est joint à celui de Le Veneur. En 1540, cette famille construit un important château de style Renaissance en pierres blanches, peut-être d'après les plans de Philibert Delorme et Jean Goujon. Cet édifice est en grande partie détruit après la Révolution. En 1835, il est remplacé dans sa partie sud par une grande maison à deux étages de style néo-palladien, avec un parc réaménagé à l’italienne.
Dominant la vallée de l'Avre, l'ancien château de Tillières-sur-Avre forme un balcon permettant d'apprécier le grand territoire sur un large cône de vue vers l'Ouest, le Sud et l'Est. Les vestiges bénéficient d'un cadre valorisant avec le bourg de Tillières en contrebas et sa campagne environnante. Il subsiste encore d'importants vestiges des fortifications médiévales comme les tours, courtines, fondations du logis qui témoignent de l'ancien intérêt stratégique du site. En effet, au sud, demeurent encore d'importants vestiges des fortifications médiévales : un grand ensemble de terrasses, remparts et bastions du XVIe siècle ainsi que l’ancien étage de soubassement du grand logis. De plus, le grand logis d’habitation du XIXe siècle, reconstruit sur les bases du xvie siècle, est toujours visible. Au nord, il subsiste de nombreuses courtines et une tour circulaire du XIIe siècle. Enfin, le Grand parterre, avec ses 133 tilleuls était autrefois la place d'armes du château féodal.