Unter der Leitung der Baumeister Blasius Berwart und Hans Wissmar wurde die Ordensburg 1579 – 1581 für Herzog Georg Friedrich zu einem in seiner Zeit als höchst zierlich gerühmten Jagdschloss umgebaut. Es diente danach als Sitz für den Amthauptmann. Als diese Zweckbestimmung entfiel und die Burg mehr als Magazin und Waffenarsenal fungierte, sank das Interesse an der Erhaltung der Gebäude. Zwischen 1766 und 1792 entfernte man den Ostflügel, um 1770 die Verteidigungsmauern und die Türme, um 1880 waren auch die Reste erheblich zerfallen, viele Steine für Reparatur oder Neubau von Bürgerhäusern abtransportiert worden. Trotzdem stehen heute noch hinter dem Rathaus respektable Reste dreier Flügel bis zur Höhe der Brüstung der ursprünglichen Fenster, ca. 5 m hoch, die einen ungefähren Eindruck der ehemaligen Anlage vermitteln. 1924 wurden archäologische Grabungen durchgeführt, die die Umrisse der Burganlage freilegten und zum Teil Rekonstruktionen ermöglichten. Den Eingangsbau im Süden hatte man erst 1936 für das neue Rathaus abgebrochen. Rechts vom Durchgang befand sich die Kapelle, links der Kapitelsaal mit westlich anschließendem Turm. Wie üblich lagen die Wirtschaftsräume im Erdgeschoss.

Weitere Informationen über die Ortelsburg findet man bei Malgorzata Jackiewicz-Garniec/Miroslaw Garniec, “Burgen im Deutschordensstaat Preußen – Pomesanien, Oberland, Ermland, Masuren”, Olsztyn 2009, S. 397 – 403