Zeitgleich mit der Kirche entstanden südlich als ursprünglich dreiflügelige Anlage die Stiftsgebäude.

Der Ostflügel, direkt an die Kirche anschließend, mit der Wohnung für den Bischof im Obergeschoß und der Sakristei darunter, wurde 1791 abgebrochen. Der hier residierende bischöfliche Burggraf hatte seinen Wohnsitz nach den Verwüstungen durch die Schweden 1626 nach Schmolainen verlegt. Südlich der Durchfahrt befanden sich die Ställe.

Der Westflügel ist am besten erhalten. Er enthielt wie der Südflügel Wohnräume der Stiftsherren, dazu Schatzkammer, Bibliothek und Archiv. In Untergeschoß Keller und Wirtschaftsräume, die Küche und die ehemalige Brauerei mit mächtigem Kamin.

Am Nordende des Westflügels gibt es noch den Bibliotheksraum mit Sterngewölbe, 3. Viertel des 14. Jhs., heute das Museum des Stifts. .Neben der Eingangstür wurden an den Wänden des Vorraums die ursprünglichen Fresken der Heiligen Andreas, Christopherus, Margareta und Katharina sowie die des hl. Einsiedlers Antonius aus der Zeit um 1520 wiederentdeckt. Weitere Fresken befanden sich neben dem prächtigen Aufgang von etwa 1670 aus der Kirche zu den Kapitelräumen. Die auf die Tür gemalte jugendliche Figur eines Papstes stellt vermutlich Urban IV. dar.

Der Wohnraum im Mittelteil des Westflügels mit Sterngewölbe ist von ca. 1510. Blauer Kachelofen im Wohnraum des Erzpriesters mit Darstellungen zur Heilsgeschichte von 1736.

Das älteste Gebäude war der Südflügel mit einem fünfteiligen Giebel, errichtet um 1400. Am Westende des Südflügels im Obergeschoß gibt es einen Saal mit Zellengewölbe, um 1515. Im 19. Jh. baute man den Südflügel erheblich um, damit man ihn als Schule nutzen konnte. Heute dienen die Räume als Priesterseminar.

Das Mühlentor des Stifts ist das letzte Stadttor, das von der 1858 abgerissenen Stadtbefestigung übrig blieb.