L'Abbaye de Cailloup fut construite au 12ème siècle. Elle fut plusieurs fois détruite.
Selon la légende, Théodore 1er, roi Wisigoth de Toulouse, laisse à son fils, Frédéric, un territoire : Frédélas.
Le fils de Frédéric, Antonin, se convertit au Christianisme et évangélise le pays.
L'Abbaye fut fondée sur le lieu du martyr d'Antonin. C'est à cet endroit que fut bâtit le Vieux Mas Saint Antonin, village à l'origine de la ville de Pamiers.
L'Abbaye, restaurée à partir du 17ème siècle, est vendue après la Révolution. Elle est alors transformée en exploitation agricole jusqu'en 1989, date à laquelle la commune de Pamiers la rachète.
Elle est classée Monument Historique depuis 1992.
L'Abbaye se trouve sur la voie du Piémont du chemin de Compostelle qui traverse l'Ariège de Mirepoix à Saint Lizier.