Depuis qu'elle a été mentionnée au IVe siècle, la Collégiale Notre Dame a subi des incendies et des profanations, pour ensuite être reconstruite sur ses fondations d'origine. L’église actuelle est de style gothique, avec trois nefs de même hauteur (église Halle-hallekerk en Flamand). Une haute tour carrée se trouve au-dessus du chœur.
Dès la fin du Xe siècle, il existait sans doute une paroisse dédiée à la Vierge. L'église en partie reconstruite en 1290 est érigée en collégiale. Une collégiale est une église qui possède un chapitre de chanoines composé d'un nombre fixe de chanoines séculiers ou réguliers clercs séculiers. Tous les chanoines possèdent un siège dans le chœur de l'église afin de s'y réunir et d'y chanter ou réciter l'office divin, un revenu et des fonctions précises.
Au début du XVIe siècle, l'édifice est élargi avec la construction de vaisseaux latéraux de même hauteur que le central. Le transept, avee sa croisée qui supporte la tour et ses deux bras, coupe la nef du chœur. L'édifice est dévasté notamment lors du passage des Gueux en 1583 et réparé de 1586 à 1607, comme l'attestent des inscriptions en flamand sur les poutres du chœur.
La Collégiale de Cassel est aussi liée à la présence des frères Récollets qui séjournèrent à Cassel jusqu'à la période révolutionnaire. À la suite de la période révolutionnaire où elle sert successivement d’écurie, de prison, d’hôpital et de Temple de la Raison, elle trouve sa forme actuelle son l’impulsion de l’Archevêque de Cambrai. Le diocèse de Lille n’existant pas encore. Après la Révolution française, la paroisse de Cassel se calque sur le découpage communal et la Collégiale Notre Dame devient l'unique église paroissiale.
C'est devant la statue miraculeuse de Notre Dame de la Crypte vénérée à Cassel depuis le XVIe siècle et conservée dans la crypte de la Collégiale Saint-Pierre, Sainte patronne et protectrice de Cassel, que le maréchal Foch adressa sa prière chaque jour durant son séjour à Cassel lors de la Première Guerre mondiale, et ce serait par son intercession que Cassel aurait évité les bombardements qui sévissaient en Flandres. La population 
de Cassel reconnaissante offrit une bannière à la paroisse à l'effigie de la sainte patronne de Cassel protégeant sa cité, cette bannière est visible au musée départemental de Flandre à Cassel.
La paroisse actuelle dédiée à Saint François, doit son nom à la présence de ces religieux dans le pays de Cassel pendant de nombreux siècles.
La Collégiale Notre-Dame à Cassel porte les cicatrices et les récits du passé. Des vestiges de l'église primitive sont visibles à l'ouest et à l'est. A l'ouest, c'est la façade dans sa partie de grès ferrugineux, avec notamment des tourelles carrées qui abritaient un escalier permettant l'accès à une salle haute, vestige d'une liturgie évoluant dans un chœur occidental.
A l'est, le chevet plat du chœur montre un appareillage en arêtes de poisson sur cinq rangs de briques et de tuiles en terre cuite, certaines probablement d'époque éallo-romaine. Cinq baies couvertes d'arcs en plein cintre d'allure romane ont été murées pour faire place aux retables. La tour, placée à la croisée du transept, pourrait dater, à la base pourrait dater du XIIIe siècle. On lui a donné récemment une fleche en charpente de 12 m de haut et des balustrades ajourées.
L'architecture gothique de l'ancienne Collégiale Notre-Dame, avec ses trois nefs et sa haute tour carrée, enchante les visiteurs, tout comme les intérieurs enrichis par les œuvres du peintre Alexis Bafcop, y compris le majestueux autel en marbre et les fresques représentant la vie ecclésiastique. Le retable en marbre et bois peint date du XVIIIe siècle.
Le chœur de l'ancienne Collégiale Notre-Dame a été recouvert de fresques peintes au XIXe siècle par Alexis Bafcop, célèbre peintre local et créateur des géants Reuze Papa et Reuze Maman, aidé de son frère Ambroise. Les fresques représentent les apôtres et diverses scènes de la vie de l'Église. Malgré leur restauration en 2009, les fresques n'ont pas pu être préservées dans leur intégralité à cause de leur état fort délabré.
Les orgues et les bancs de communion en fer forgé ajoutent une touche d'histoire et d'art. L'orgue et le buffet ont été transformés en 1821. On y voit l'inscription « Les orgues chantent par les dons des citoyens ». Les facteurs sont : René Germain, Pierre Loncke, Frédéric Loncke et Bernard Cogez. Deux statues imposantes siègent au sommet de l'orgue, il s'agit du Roi David, représenté avec une harpe, et de sainte Cécile, patronne des musiciens. On voit également trois angelots en bois, jouant du clairon, sur le buffet.
Si vous allez visiter Cassel, un circuit découverte de la ville est à disposition à l'Office de Tourisme. Aujourd’hui, visiter Cassel vous permettra de découvrir une charmante cité paisible, qui s’élève dans le paysage des Flandres françaises. Son centre ville permet de faire des petites balades à la découverte de ses vestiges du passé. De plus, le village offre un beau cadre pour de nombreuses activités en pleine nature.
