Der massive Ausbau der Residenz auf einer Landzunge zwischen Symsarna – Simser und Lyna – Alle begann möglicherweise schon 1348 unter Bischof Hermann von Prag (1338 – 1349), sicher aber 1350 unter Bischof Heinrich von Meißen (1350 – 1355), und dauerte bis 1401. Der Nachfolger, Bischof Johann Stryprock (1355 – 1373) erreichte die Autonomie des Bistums Ermland von Riga und die Ernennung des Oberhaupts der ermländischen Diözese zum Erzbischof. Das Bistum wurde direkt dem Papst unterstellt.[1] Die Lauben um den Innenhof und die Mauern der Vorburg entstanden unter Bischof Heinrich Sorbom (1373-1401), ehemals Sekretär Kaiser Karls IV.[2] Er war es auch, der die repräsentativen Innenräume ausstattete.

Dabei unterschied sich die Burg von den meisten anderen Ordensfestungen dadurch, dass sie von Anfang an als kirchliche Residenz konzipiert war. Trotz mancher Veränderungen im Laufe der Jahrhunderte präsentiert sich die Anlage auch heute noch wesentlich in der Gestalt, die sie beim Wiederaufbau nach einem schweren Brand 1442 erhielt, als die vier Ecktürme angefügt wurden, und gilt als die nach der Marienburg besterhaltene Ordensburg im ehemaligen Ostpreußen.

Während des Städtekrieges musste die Burg zur Finanzierung der Kriegskosten an böhmische Söldner verpfändet werden, doch Bischof Paul von Legendorf gelang es, das Pfand 1461 wieder auszulösen.

Der weitere Ausbau der Burganlage fand unter Kardinal Andreas Bathory, einem Bruder des polnischen Königs Stefan IV. Bathory, der einem Adelsgeschlecht aus Siebenbürgen entspross, und seinen Nachfolgern statt. Der Kardinal ließ sich die sog. “Kardinalskammern” in einem üppig ausgestatteten Anbau auf der Nordseite der Burg (in die Richtung der Schlossmühle; 1767 abgerissen) errichten. Nach dem Tod von Andreas Bathory in einem Scharmützel in Siebenbürgen arbeiteten die Nachfolger auf dem Bischofsstuhl, Simon Rudnicki (1604-1621) und Nikolaus Szyszkowski (1633-1643), am Ausbau der Kardinalskammern weiter. Die Ausstattung der Burgkapelle im Stil des Rokoko ging auf Bischof Adam S. Grabowski (1741 – 1766) zurück, ebenso der Ostflügel 1745 (das Grabowski-Palais) und die Figur der Hl. Katharina in der Vorburg sowie der Bau der Sommerresidenz in Smolajny – Schmolainen. Mit der Wahl Ignacy Krasicki zum Erzbischof von Gniezno -. Gnesen 1795 endete die Zeit, in der die Burg Heilsberg Sitz der ermländischen Bischöfe war.[3].

Nachdem die Burg bis zum Beginn des 18. Jhs. allen Belagerungen standgehalten hatte, so 1414 (den Polen im Hungerkrieg), 1478 (den Polen im Pfaffenkrieg), 1520 (dem Deutschen Orden im Reiterkrieg) und 1627 (den Schweden im 1. polnisch-schwedischen Krieg), eroberte sie 1703 Karl XII. von Schweden im Verlauf des Nordischen Kriegs (1700 – 1721). Er wohnte hier im Winter von 1703 auf 1704 und nahm, als er abzog, viele der Kunstschätze mit, die sich im Laufe der Zeit angesammelt hatten. Das waren 7 Wagenladungen mit Büchern und Handschriften der umfangreichen Bibliothek, die Reste der einst berühmten Gemäldesammlung des Bischofs Johann Dantiscus von Höfen (1538 – 1548), 33 Porträts ermländischer Bischöfe, eine Fontäne aus Kupfer und weiteres. Viele der Bücher befinden sich noch heute in der Bibliothek der Universität von Uppsala.

Mit dem Ende des Fürstbistums Ermland begann auch die Residenz der Bischöfe zu verfallen. Als sich die Franzosen 1807 in der ansonsten leeren Burg aufhielten, wurde der Prozess des Verfalls noch beschleunigt. Im Jahr 1838 diskutierte man bereits den Abriss. Auf die nachhaltige Intervention des Bischofs Andreas Stanislaus von Hatten (1836 – 1841) blieb die Anlage jedoch nicht nur erhalten, sondern wurde sogar restauriert, was König Friedrich Wilhelm IV., der das Schloss 1844 besichtigte, ideell und materiell unterstützte.

Die russischen Soldaten des 1. Weltkriegs, die die Stadt 5 Tage lang besetzt hatten, verschonten die Burg – man munkelte, weil sie hier die Anlage einer Sommerresidenz für den Zaren vorgesehen hätten.

Von 1861 – 1932 nutzte die Waisen- und Krankenanstalt der Diözesanstiftung des hl. Josef die Räumlichkeiten, danach bis heute wurde die Burg zum Heimatmuseum des Ermlands, seit 1964 das “Muzeum Warmii i Mazur”.  Die Burg war Sitz der Katholischen Jugend, bis diese von den Nazis verboten worden war.