Il faut monter au premier étage pour retrouver la trace du château primitif. A l’angle de l’aile Est, l’ancien dortoir des filles du pensionnat occupe une salle rectangulaire voûtée. Du temps des évêques cette grande salle a pu être la salle des synodes, une salle d’audiences, de réceptions, de fêtes. A la fin du 19ème siècle, elle servit de chapelle durant la construction de l’église (1891).
De cette salle, on passe à l’aile Sud où des chambres ont été aménagées dans les pièces médiévales, dés le XVIIème siècle. Dans le couloir, on retrouve sur la droite, la porte qui donnait autrefois sur la galerie extérieure, seul accès à la salle médiévale.
Deux niveaux ont été créés dans ce qui n’en était qu’un avant le XVIIème siècle. Les voûtes médiévales sont actuellement cachées sous les lambris et ne se laissent deviner que par les culots supportant les retombées des arcs, dans les angles de pièces.
Dans la première pièce, une cheminée de stuc du XVIIème siècle évoque un premier souci de confort. Derrière une porte de placard, une niche gothique contient une « piscine » semblable à celles que l’on trouve dans les églises, prés des autels pour rincer les vases sacrés.
La seconde pièce est l’une des salles du donjon, comme en témoigne l’épaisseur des murs. Dans un angle, à gauche de la fenêtre un escalier en vis dessert les différents étages du donjon.
A l’étage supérieur, on atteint une pièce carrée, primitivement couverte d’un plancher, comme l’indiquent les traces d’arrachements des poutres. Une plaque d’enduit blanc portant un graffiti du XVIIème siècle, laissé par un diacre, prouve que le plancher existait encore à cette époque. Au dessus une voûte en berceau supportait les derniers niveaux du donjon, aujourd’hui disparus.
La pièce éclairée par deux fenêtres au Nord et au Sud, conserve une grande partie de son décor mural qui peut être daté du XIVème ou début du XVème siècle.
Réalisé sur enduit frais selon une technique proche de la fresque, ce décor est composé en trois registres superposés. Dans la partie basse, à hauteur d’homme, des draperies en trompe-l’oeil, jaune vif sur fond rouge. Puis une large frise claire décorée d’un rinceau de feuilles d’eau rouges. Le reste du mur a été peint du même rouge foncé que le registre inférieur, rehaussé d’un quadrillage blanc et de pastilles rouge et jaune. Dans l’embrasure de la fenêtre, munie de bancs, on distingue à peine un décor jaune et rouge de grecques et de rinceaux. Ces peintures murales formaient un décor aux couleurs très vives, avec des motifs venus de l’héritage antique, mais aussi du répertoire mozarabe. Elles se prolongeaient probablement sur les poutres du plafond, comme il est d’usage dans les pièces d’habitation aux XIVème et XVème siècles.
L’escalier en vis permet d’accéder aux combles et à l’échauguette, où l’on a une belle vue sur le village et la vallée.
De la salle peinte, dans l’angle opposé à celui de l’escalier en vis, une porte ouvre sur un escalier droit pris dans l’épaisseur du mur. On y retrouve les petites fenêtres aperçues depuis la cour, et des traces de peintures murales figurant des appareils en trompe-l’oeil.
Une petite pièce voûtée, où l’enduit jaune laisse deviner des peintures murales gothiques, précède la chapelle. Cette grande salle à deux travées voûtées sur croisées d’ogives, conserve le volume qui lui a été donné au XVIIème siècle. Les appartements de l’évêque se trouvaient au même niveau dans l’aile Ouest.
Les voûtes, qui reposent sur des cul-de-lampe à quelques centimètres du sol, ont évidemment été faites pour un volume deux fois plus haut. Les deux fenêtres ont également été remaniées au XVIIème siècle. On distingue à l’extérieur mieux qu’à l’intérieur, l’arc brisé des fenêtres gothiques, coupé par un linteau droit au XVIIème siècle.
La chapelle avait été richement décorée par les premiers évêques : rubans plissés et comme tressés forment un corroyage en perspective alliant jaune vif, rouge et bleu, sur les murs ; fausses liernes à rubans plissés, nervures décorées d’oves et de tresses, voûtains peints en bleu sombre, pour le voûtes.
On peut remarquer, sur le bleu de voûte, des pastilles en creux, peut-être dorées à l’origine pour figurer les étoiles. Ce décor chatoyant qui peut être rapproché de ceux du couvent des Jacobins de Toulouse, ou du Palais des Papes d’Avignon, a été recouvert au XVIIème siècle d’un enduit jaune. De grandes figures de saints ou d’évêques y ont alors étaient peintes ; on distingue encore au dessus d’une fenêtre et de la porte qui lui fait face, les armes de Mgr de Baradat, évêque de 1674 à 1710.