La porte Sainte-Quitterie est datée du 2e quart du XVIe siècle. Elle est la seule porte encore debout de l'ancienne fortification de Sarrancolin. En effet jusqu'au XVIIIe siècle, la ville était ceinturée par des murailles. Quatre portes, placées aux 4 points cardinaux, assuraient les communications avec l'extérieur. La porte Sainte-Quitterie au sud, la porte Saint-Antoine – actuelle place de la barbacane - au nord, la porte de la Neste face au pont d'Ilhet à l'est et la porte du Vivier à l'ouest.
La porte Sainte-Quitterie est inscrite parmi les Monuments historiques en 1941.