Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux.
Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée.
A la veille de la Révolution, elles sont aménagées en prison.
Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier.
Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.