La Tour des Ursulines, anciennement Tour des Prisonniers ou encore Tour François Ier, est un donjon érigé au xiie

Il avait pour fonction de protéger l'ancien château Riveau ou Rivault. C'est le principal vestige de ce château démantelé vers 1600, dont le nom dérive du latin rivus. Ce nom a également été porté par les anciens seigneurs, et s'est ensuite gardé dans l'appellation du Quartier Rivault.

La tour est classée monument historique depuis septembre 1994. Elle est propriété de Hisao Takahashi, restaurateur d'art, et sert de centre culturel à financement privé.

La forteresse avait été édifiée dans la partie Sud de la cité enclose dans les murailles. Et le donjon était à l'extrême Sud de la forteresse2.

Le donjon médiéval a été construit sur les fondations d'une muraille gallo-romaine partiellement conservée. Il s'élève selon un plan octogonal. Dans son appareil, on a réutilisé des matériaux de bâtiments précédents. Cependant, à part les embrasures et les doubles fenêtres cintrées à la manière de l'art roman, chacune surmontée d'un arc en plein cintre autour d'une colonne, les parois n'ont rien de caractéristique de l'antiquité, ni des époques gallo-romaine ou médiévale : cela vient sans doute des nombreuses réparations au cours des siècles.

Plus remarquables sont deux éléments du xixe siècle :

le parapet qui borde la terrasse supérieure,
et la statue haute de trois mètres de la Vierge Marie, sur un haut piédestal sur cette terrasse. Elle fut réalisée par Claude Quarré, architecte et sculpteur originaire d'Autun, et placée là depuis 1862.