La Chapelle des Pénitents Blancs a été construite sur le rempart Nord Est à la fin du XVIe siècle par la confrérie des « Pénitents Blancs du Saint Esprit » (confrérie laïque d’obédience catholique). Son clocheton datant du milieu du XVIIIe siècle, déporté par rapport à l’axe de la nef, ainsi que l’utilisation de l’une des anciennes tours d’enceinte comme sacristie, lui confèrent une architecture surprenante.
Abandonnée, ruinée à la fin du XIXe siècle, elle a été restaurée au XXe siècle.
Depuis 1967, elle abrite le Musée d’histoire locale Maurice Pezet.
L'intérieur de la chapelle est accessible sur les horaires d'ouvertures du Musée, et pendant les Journées Européennes du Patrimoine.