Dicht neben der Kirche stand das Haupthaus der bischöflichen Ordensburg, die man um 1370, vielleicht auch schon 1364[1], als Kämmererburg mit rechtwinklig angefügtem schmalem Wirtschaftsflügel errichtete. 1380 galt die Burg als vollendet und diente dem bischöflichen Burggrafen als dem Verwalter des Kammeramtes als Dienstsitz. Bis 1772 saß hier ein polnisches Kammeramt.

Bei dem großen Stadtbrand 1798 wurde auch die Burg stark beschädigt und man begann danach, die Mauern abzutragen.

1826 – 1832 baute man nach Plänen von Landbaumeister Friedrich Leopold Schimmelpfennig an der Stelle des Hauptflügels die Volksschule, wobei man die steinernen Überreste von Mauern und die Fundamente wieder verwendete. Der ordenszeitliche Charakter ist nicht mehr erkennbar, aber das Haus existiert noch.

Nach dem 2. Weltkrieg war in den Räumen eine Werkstatt für Weberei und Strickerei untergebracht.

Detaillierte Informationen über die Burg Wartenburg findet man bei Malgorzata Jackiewicz-Garniec/Miroslaw Garniec, “Burgen im Deutschordensstaat Preußen – Pomesanien, Oberland, Ermland, Masuren”, Olsztyn 2009, S. 75 – 78