An der Stelle der prußischen Burg Passlock errichtete man etwa 1267[2]ein Ordenshaus in der üblichen Holz-Erde-Bauweise. Die Burg wurde 1318 bis ca. 1340 durch gemauerte Anlagen ersetzt.

Zur Ordenszeit zählte sie zu den bestbefestigten Anlagen des Oberlandes und war darüber hinaus durch seine malerische Lage 30 m über dem Tal der Weeske (Waske), die westlich der Stadt in den Drausensee mündet, ein beliebter Aufenthaltsort für Würdenträger des Ordens, vor allem auch zur Sommerzeit. Sie war Sitz eines Pflegers und wohl auch Residenz des Elbinger Hauskomturs. Der Hauptflügel im Norden ist rd. 50 m lang. Er enthielt im Hauptgeschoss eine Kapelle, den Remter und Gasträume für den Elbinger Komtur. Es gab einen Danzker, der aber schon im 19. Jh. wegen Baufälligkeit abgerissen wurde..[1]

Die Existenz eines langen, unter der Weeske hindurchführenden Fluchttunnels gehört wohl in den Bereich der Legende. Jedenfalls ergaben Untersuchungen des Kellers, die man 1927 durchführte, keinerlei Hinweise darauf. Inzwischen gibt es neue Erkenntnisse, vorgestellt auf einer wissenschaftlichen Konferenz im Rittersaal des Stadtamtes, in der die wahrscheinliche Existenz der alten Befestigungsanlagen dargestelt und die Existenz eines Tunnels vom Schloss zur Bartholomäuskirche bestätigt wurde.[5] Ausgrabungen unter wissenschaftlicher Leitung im Juli 2017 brachten keinerlei Hinweise auf die Existenz eines Gangs von der Burg zur Bartholomäuskirche.

In der Mitte des Burghofes gab es einen 45 m tiefen Brunnen. Unterhalb der Burg befand sich zur Ordenszeit, als der Drausensee bis an den Fuß der Anhöhe heranreichte, eine Anlegestelle für Schiffe, wie Funde von Ankern und Schiffsresten bezeugen.

Nach den Zerstörungen der Burg 1521 im Reiterkrieg und einem Brand 1543 erfolgte im weiteren Verlauf des 16. Jhs. der Wiederaufbau in Verbindung mit einer Umgestaltung. Vermutlich bei dieser Gelegenheit reagierte man darauf, dass sich im Laufe der Zeit der Boden im Hofbereich um etwa 3 Meter angehoben hatte, was aber erst während der Studien in der Zeit nach dem 2. Weltkrieg nachgewiesen wurde. Damals wurde das bisherige Erdgeschoß zur Kellerebene umfunktioniert und das Gebäude damit um ein Stockwert reduziert. Das ursprüngliche Kellergeschoß harrt noch der eingehenden Untersuchung und vielleicht liegt in diesem vergessenen Bereich auch die Wurzel für die Legendenbildung um einen Tunnel.[3]Auch die beiden Seitenflügel wurden neu aufgeführt sowie 1578 die Anlage um die beiden runden Ecktürme auf quadratischer Basis als Flankierungsbastionen ergänzt.

Die Arbeiten standen unter der Leitung von Baumeister Christoph Römer aus Königsberg, der unterstützt wurde von den Meistern Albrecht Praetsch und Jost von Bruck. Für 1559 und 1586 wird ein Baumeister David Römer genannt, vielleicht der Sohn. Ein Erweiterungsbau erfolgte 1601, weitere Umbauten im 18. und 19. Jh.

Unterhalb des Schlosses und der Stadtmauer befindet sich seit 1818 eine Promenade, die zum Spazieren gehen einlädt. Der Platz vor dem Schloss hieß im Volksmund nicht Schlossplatz sondern „Schweinemarkt“, weil hier wöchentlich ein Markt für Schweine und Federvieh abgehalten wurde, außerdem jährlich der Pferdemarkt.

Im 19. Jh. diente der Schlosskomplex neben- und nacheinander als Schule, Krankenhaus, Waffenkammer, Militärmagazin, Salzmagazin, Pferdestall, Theater und Exerzierplatz, beherbergte oben Wohnungen und im Keller Kartoffeln und Bier. Im Ostflügel hatte sich die reformierte Gemeinde einen Betsaal eingerichtet. 1876 übernahm der Justizfiskus den Gebäudekomplex und brachte bis 1926 das Stadtgefängnis, eingerichtet für 300 Gefangene in allen drei Flügeln, im Schloss unter, ab l923 das Amtsgericht. Der häufige Nutzerwechsel beanspruchte die Bausubstanz allerdings erheblich und die Schäden waren beträchtlich.

Zum Ende des 2. Weltkriegs brannte die Burg 1945 bis auf die Umfassungsmauern vollständig aus. Bei Wiederherstellungsmaßnahmen nach dem 2. Weltkrieg 1959 – 1961 legte man im Erdgeschoss einen großen Saal mit einer Mittelreihe starker Säulen frei, der bis dahin durch eingezogene Zwischenwände des 16. Jhs. bis zur Unkenntlichkeit verunstaltet war. Dabei kam auch das Fragment eines alten Wandgemäldes im ältesten Mittelteil der Burganlage ans Tageslicht. Rekonstruiert wurde auch ein Saal im Westflügel mit Kreuzgratgewälbe auf drei Granitpfeilern.[4]Seit dem Abschluss dieser Arbeiten dient das Schloss als zentraler Sitz der Stadtverwaltung sowie den Einwohnern als Kulturhaus mit Bibliothek und Café sowie für Veranstaltungen.

Weitere Informationen und Bilder von der Burg in Pr. Holland findet man bei Malgorzata Jackiewicz-Garniec/Miroslaw Garniec, “Burgen im Deutschordensstaat Preußen – Pomesanien, Oberland, Ermland, Masuren”, Olsztyn 2009, S. 329 – 339