Malgré ses richesses, la vie dans le monastère de Bèze est précaire et laborieuse. Les moines doivent assainir les sols marécageux et endiguer la rivière pour se préserver des inondations. Mais les moines ne sont pas au bout de leurs peines car entre 660 et 937 l’abbaye Saint-Pierre de Bèze est détruite 7 fois. En 655, l’abbaye de Bèze fut une des premières à posséder une école monastique. Celle-ci se trouvait dans l’enceinte de l’abbaye afin d’éduquer les jeunes moines. Plus tard, elle reçut des enfants des seigneurs et des nobles désirant s’instruire.
Entre 655 et 660, le duc Amalgaire meurt. Les terres de l’'abbaye Saint-Pierre de Bèze sont dévastées, des nobles francs contestant la propriété de terres que l’abbaye possède. L’abbaye est mise à sac. Afin de la protéger, Waldalène obtient l’appui du roi Clotaire III qui signe en 664 une ordonnance de restitution des terres spoliées. Grâce à l’action énergique du duc de Langres, Silchelme, l’abbaye retrouve ses biens dès 666.
En 676, l’abbaye Saint-Pierre de Bèze est dévastée une seconde fois par une armée austrasienne appelée par le duc des Attuariens Aldaric. Vers 731, les Sarrasins atteignent Bèze. Le monastère ainsi que la région sont dévastés. En 752, Pépin le Bref donne à son demi-frère Rémi, âgé de 18 ans, plusieurs abbayes en Bourgogne. Rémi, qui mène une vie de débauché, finit par confier l’abbaye de Bèze à sa favorite Angla. Elle continue à dépenser les richesses de l’abbaye et la ruine. Puis l’abbaye est désertée à cause d’une épidémie de peste ou de choléra.
Vers 834, à la suite de la réforme de l'évêque Albéric les moines substituent la règle de saint Benoît à la règle de saint Colomban. En 888, c’est l’invasion normande. Les cinq moines, un prêtre et un enfant restés sur place pour défendre l’'abbaye Saint-Pierre de Bèze sont tués. Les Normands dévastent, saccagent et ravagent tout sur leur passage. La vieille grotte sert d’abri aux hommes du village et aux moines qui s’y sont cachés. Une terrible famine a lieu après le départ des Normands car leur armée avait anéanti les récoltes. L’abbaye est désertée.
En 900, l’abbaye Saint-Pierre de Bèze est restaurée, elle s’entoure de fortifications. En 935-936, les Hongrois entrent en Bourgogne, ils mettent le feu à l’abbaye en passant. En 937, les Hongrois reviennent et incendient à nouveau l’abbaye qui est détruite de fond en comble. Une immense famine succède à la ruine générale. L’abbaye restera déserte pendant 51 ans. En 988, l’abbaye est dévastée et envahie par les herbes. Le moine Guillaume de Volpiano trouve un mécène en la personne de Raoul le Blanc, vicomte de Dijon qui consacre son immense fortune pour la reconstruction du monastère. Il oblige les moines à étudier. L’abbé Guillaume part à Rome et revient avec une équipe d’artistes spécialisés en tous genres. Des écoles de peinture, de sculpture, d’architecture, d’ébénisterie ainsi que des écoles de lettres et de scribes s’ouvrent à Bèze. La bibliothèque, détruite par les Normands, commence à se reconstituer et à s’enrichir.
En 1033, le duc de Bourgogne, Robert Ier, essaye de s’approprier les richesses de l’abbaye Saint-Pierre de Bèze avec l’accord tacite du nouvel évêque de Langres, Hugues de Breteuil. L’abbé de Bèze, Olger, qui s’oppose à cette spoliation est emprisonné. Le duc essaye alors de faire transférer à Dijon en cachette les trésors de l’abbaye, avec la complicité de quelques moines. Ce stratagème est démasqué et les villageois font appel à leur seigneur de tutelle, le comte de Beaumont-sur-Vingeanne pour venir s’opposer aux hommes du duc. La garnison du château de Beaumont, aidée par de centaines de serfs et vilains des villages voisins, empêche le transfert et libère l’abbé Olger. Le nom de Fontaine de Bèze disparaît pour celui de Saint- Pierre de Bèze.
Le 18 février 1107, le pape Pascal II, après avoir consacré la cathédrale Saint Bénigne de Dijon, visite Bèze où une marée humaine assiste à la messe, en présence du duc de Bourgogne Hugues II et de nombreux cardinaux, évêques, comtes et seigneurs. À cette époque, l’église Saint-Rémi est entièrement reconstruite et l’abbaye Saint-Pierre de Bèze augmente son patrimoine grâce à de nombreuses donations. Des foires ont lieu à Bèze et ont un grand succès. En 1198, l’abbaye flambe ainsi qu’une partie du bourg.
En 1209, l’abbaye Saint-Pierre de Bèze s’entoure de murailles avec fossés et pont-levis. Le monastère est appelé le château. Mais l’abbaye s’endette et doit vendre ses vignes du clos de Bèze. Le peuple est écrasé sous les dîmes, les cens, et les innombrables tailles et corvées. Par contre, la bourgeoisie s’est enrichie grâce au commerce et s’est instruite dans les écoles fondées par le monastère. L’école du monastère prend une grande expansion. Comme les enfants confiés dès 11 - 12 ans troublaient le silence monastique, les moines décident d’en transférer une partie à l’extérieur. Une école instruisant les enfants qui n’étaient pas destinés à l’Église est construite. De nombreuses industries sont créées ou développées : des tanneries de foulon d’écorces ou de draps, des fourneaux, des huileries, des moulins, des tuileries.
En 1250, le village de Bèze possède une léproserie mais les malades sont trop nombreux. Alors les moines s’engagent à régler la dette de la léproserie et prennent en charge à perpétuité son entretien. En 1379, à la reprise de la guerre, la population de Bèze ne compte plus que 111 hommes et femmes. L’'abbaye Saint-Pierre de Bèze s’endette. Les vieilles fortifications sont devenues inefficaces. La pauvreté s’installe. Sous l'impulsion de Simon de Torcenay, Abbé de Bèze, des fossés sont creusés avec douves et pont-levis. Les tours carrées sont remplacées par des tours rondes couronnées de machicoulis et de créneaux. Elles sont aménagées en prison et percées de meurtrières. Les vieux souterrains sont remis en état. Bèze est alors réputé invulnérable. Une garnison y réside en permanence et le guet est fait jour et nuit. De cette forteresse, il ne reste que deux des grosses tours d’angle des remparts, la « tour d’Oysel » et la « tour de chaux ».
En 1437, les écorcheurs apparaissent en Bourgogne et s’arrêtent à Bèze. Le bourg fortifié est envahi mais on ignore s’ils ont pénétré dans l’'abbaye Saint-Pierre de Bèze. En 1445, les écorcheurs reviennent. Le bourg est réduit à 47 feux. En 1560, le trésor de l’abbaye s’amoindrit car les moines sont obligés de financer les guerres de religion que mène le jeune roi Charles IX pour la défense de la religion catholique. En 1662, 12 religieux de Saint-Maur viennent s’installer à Bèze pour y rétablir la discipline et la régularité. Les tours n’ont plus rien de défensif : celle du nord-est devient un pigeonnier et prend le nom de tour d’Oysel et celle du nord-ouest de tour aux Choues (chouettes). En 1724, l’abbaye est sans abbé et devient un simple couvent.
Lors de la Révolution, en 1790, l’'abbaye Saint-Pierre de Bèze est vendue comme bien national. L’inventaire des biens de l’abbaye est fait en mai 1790, elle compte 4 175 livres dans la bibliothèque. En 1791, les trois derniers moines abandonnent les lieux. À partir de janvier 1791, les biens de l’abbaye sont mis en vente : des terres, la tuilerie, un moulin, des maisons dans Bèze, la chapelle Saint-Prudent, le four banal, la chapelle Notre-Dame des Groisses sont vendus. Tous les objets précieux, vases sacrés et reliquaires doivent être versés au trésor public.
Les premiers coups de pics sont donnés aux bâtiments monastiques. En 1795, l’église du monastère est rasée. Tout le centre de la grande maison conventuelle, longue de 113 mètres, tombe à son tour. Là se trouvaient les salles de réception, la galerie cloître, l’escalier en fer-à-cheval, les galeries menant du dortoir à l’église. Le bâtiment servant aux moines de pressoir, la cuverie, est racheté par la commune pour y installer la mairie et l’école. L’ère de l’'abbaye Saint-Pierre de Bèze s’arrête, mais l’histoire de Bèze continue…
L'abbaye Saint-Pierre de Bèze est ouverte à la visite en été et à l'occasion des Journées du Patrimoine. Reste, à gauche de l'entrée, le bâtiment dit de "l'Infirmerie", occupé par les propriétaires. À droite, il s'agit du bâtiment dit de "l'Hôtellerie" avec ses chambres d'hôtes au premier étage et, au deuxième, sa vaste bibliothèque, disposant de 4175 volumes lors de l'inventaire en août 1790 par les officiers municipaux de Bèze. Vers la rivière, en abside de l'ancienne église du XIIe siècle, disparue, se trouvent les restes de la "Chapelle de la Vierge" datant du XIIe siècle. Son parc à l’anglaise de 4 Ha redessiné au XIXe siècle est planté de nombreux arbres remarquables: platanes bicentenaires, séquoia majestueux, catalpa, hêtre pourpre imposant, etc. ... , traversé par la Bèze. Dans le potager, une grande orangerie, construite en 1910, est dotée d'une couverture en tuiles vernissées d'une tuilerie du bourg, dont la mosaïque colorée est du plus bel effet.