Im Nordflügel schließt sich an den Großen Remter der fast quadratische Audienzsaal an, der von einem komplizierten Rippengewölbe überdeckt wird. In ihm befand sich die seinerzeit berühmte Gemäldesammlung des Bischofs Johann Dantiscus (1537 – 1548), deren Reste Karl XII. mit nach Schweden genommen hatte.

Johann Dantiscus von Höfen (1485 – 1548) wurde in Danzig geboren und machte sich zunächst als Dichter einen Namen, v. a. am Wiener Hof. Dort schlug man ihn dafür zum Ritter. Als preußischer Gesandter bemühte er sich beim Kaiser und auf dem Reichstag darum, dass die wegen der Säkularisierung des Kirchenbesitzes im Zuge der Reformation über Herzog Albrecht verhängte Acht wieder aufgehoben werde. 1529 wurde Johann Dantiscus von Höfen ermländischer Domherr, 1530 Bischof von Kulm und 1538 bis zu seinem Tod Bischof des Ermlands. Neben der Sammlung von Bildern legte er den Grundstock für eine beachtliche Bibliothek. Als humanistischer Dichter besang er die Zeitereignisse, als Bischof verfasste er Hymnen und Epen mit moralischen Ansprüchen, in denen er die Reformation verurteilte

Der achteckige Turm in der Nordostecke hat 7 Stockwerke und gewährt von oben einen weiten Rundblick. Im Hauptgeschoß befand sich die Hauskapelle der Bischöfe mit niederländisch beeinflusster Landschaftsmalerei von ca. 1500, eingerichtet von Bischof Lukas Watzenrode (1489 – 1512). Weiter unten gab es die Schatzkammer und ganz unten, nur durch ein Loch in der Decke zugänglich, das Gefängnis.

Im westlichen Teil des Nordflügels befanden sich die privaten Wohnräume des Bischofs und dort hielt sich auch Nikolaus Kopernikus 1504 – 1510 als Leibarzt im Gefolge seines Onkels Lukas Watzenrode auf, nachdem er 1503 nach Abschluss seines Universitätsstudiums aus Italien zurückkehrt war.

Jenseits der Alle südwestlich der Pfarrkirche steht die Orangerie, die während der Regierungszeit von Bischof Theodor Andreas Potocki (1711 – 1723) gebaut wurde und die Bischof Ignaz Krasicki (1766 – 1795) durch einen Warschauer Architekten zu einem Sommerpalais erweiterte. Dieses diente im 19. und 20. Jh. teilweise als Friedhofskapelle. Vorher stand hier ein Gebäude, das die Schweden anfangs des 18. Jhs. bei ihrem Aufenthalt in Heilsberg nieder brannten. Heute sitzt hier die Städtische Pädagogische Bibliothek. Das Haus wurde 2015 aufwändig restauriert, Teile des Barockgartens und der Springbrunnen wiederhergestellt.[1]

.