Le lieu de résidence de l’évêque était l’ancien palais abbatial devenu épiscopal. Au XVe siècle, l’évêque Pierre Soybert restaure ce bâtiment en ruine. De grands travaux sont ensuite entrepris aux XVIIe et XVIIIe siècles en particulier par François Barthélémy de Gramont de Lanta (1677-1716) et Bertrand de Langle (1739-1774). Lorsque l’évêché est supprimé à la Révolution, le palais épiscopal est vendu à la famille d’Hautpoul, puis Jonquières d’Oriola. Actuellement maison d’enfants à caractère social, le palais sert de lieu de formation.

Le palais épiscopal forme une entité indépendante au sud des bâtiments conventuels et de l’église, s’appuyant directement sur la galerie méridionale du cloître.

Le palais épiscopal d’époque moderne cache un bâtiment plus ancien, bâti au XIVe-XVe siècle, dont on peut voir de nombreux vestiges (meurtrière près de la porte, ouvertures murées avec de grands arcs appareillés brisés, vestige de fenêtre flamboyante sur la cour). Ce premier palais comportait les trois ailes actuelles, sur lesquelles on a plaqué au XVIIe s., à l’ouest et au sud, une galerie surmontée d’un large couloir desservant les pièces nobles de l’étage.
Trois vestiges de tours circulaires occupaient les angles de la bâtisse : au nord-est, sud-est et nord-ouest ; celle du nord-ouest semble plus massive et présente une bouche à feu dirigée vers la cour.

Le grand corps de bâtiment sud sur le parc a été le dernier construit dans le dernier quart du XVIIIe siècle, sous l’épiscopat de Mgr d’Abzac. Il se compose d’un corps central encadré par deux ailes latérales fort peu saillantes. Le haut soubassement à un niveau soutient un étage noble et un étage d’attique, le tout couronné par une terrasse à balustres. À l’extérieur, une totale simplicité règne sur les façades.
A l’intérieur, les salles de réception et les chambres ont reçu de très remarquables décors de gypseries, des cheminées de marbre, des lambris de grande qualité.