Cet ancien bourg médiéval, avec ses rues étroites et ses maisons en encorbellement et pans de bois, doit son nom à un martyr du Ve ou VIe siècle. Nous savons peu de choses sur la vie de Papoul. La tradition veut qu'il ait été décalotté au lieu-dit de l’Ermitage.

Le village s’est développé aux abords immédiats de l’abbaye à partir du XIIIe siècle. Il devient cité épiscopale en 1317, suite au morcellement du grand évêché de Toulouse. Protégé par une enceinte fortifiée, il ne reste aujourd’hui qu’une porte, dite « Tour des gardes ». Cette ancienne entrée , qui abritait la prison, fut construite par Guillaume de Cardaillac (1328-1348), troisième évêque de Saint-Papoul.