Erstmals urkundlich erwähnt wurde eine Wehranlage des Ordens im Jahr 1329. Die Rastenburg hat drei Flügel, die 1360 – 1370 in Stein aufgeführt wurden, wobei das Haupthaus im Norden die Kapelle sowie Wohn- und Verwaltungsräume aufnahm. Zu Beginn der Herzogszeit 1528/29 und dann 1559/60 baute man das Gemäuer um. 1528 entstand der Erker über dem Haupttor.[3]
1565 stattete Maurermeister Hermann Gotthard die Küche und einen Raum im Brauhaus mit Kreuzgewölben aus. Der runde Turm an der Nordwestecke entstand 1622. 1682 trug man das oberste Geschoß des Nordflügels ab und egalisierte so die Höhe der Bauteile. Als die Befestigung nicht mehr gebraucht wurde, entfernte man 1732 den Südwestturm und baute die ganze Anlage im 19. Jh. zurück. 1911/12 gestaltete man die Burg um zu einem Wohnhaus, wobei neue Festeröffnungen in die Wände gebrochen wurden. Auf diese Weise verschwand endgültig der mittelalterliche Charakter der Wehranlage.
Seit der Herzogszeit residierte im Schloss der Amtshauptmann, später bis 1910 der Domänenpächter und danach bis 1945 war hier das Finanzamt untergebracht. Der 2. Weltkrieg hinterließ die Burg stark beschädigt, doch fanden 1962 – 1967 gründliche Restaurierungsarbeiten statt, wobei man sich für den Wiederaufbau am Zustand des 19. Jhs. orientierte. Besonders hervorzuheben ist das Westportal. Die Innenräume entstanden völlig neu. Dem nördlichen Hauptflügel gab man seine ursprüngliche Höhe zurück und richtete hier Ausstellungsräume für ein Heimatmuseum ein mit Porträtbildern aus den umliegenden Schlössern wie z. B. Gallingen und Dönhofstädt sowie mit Skulpturen aus dem Spätmittelalter (Anf. 16. Jh.). Im Jahr 2005 erhielt die Stadt Finanzmittel zur weiteren Restaurierung. Der hölzerne Kreuzgang, der Rittersaal und die Burgmauern sollen wieder konservatorisch hergestellt werden.[1] In den Südflügel zog die Stadtbücherei ein.
In dem kleinen Park auf der Ostseite der Burg stand ein Gedenkstein für das älteste Regiment der brandenburgisch-preußischen Armee, das Grenadier-Regiment König Friedrich der Große (3. Ostpr.) Nr. 4, gestiftet am 1. Mai 1626, das an die Tradition Rastenburgs als Garnisonsstadt erinnern sollte und zum 300jährigen Jubiläum 1926 feierlich enthüllt worden war. Es handelte sich um eine Arbeit des Bremer Bildhauers Stoffregen und stellte eine stilisierte friderizianische Grenadiermütze dar. Hier wurde das Denkmal zwar nach dem 2. Weltkrieg entfernt, eine Nachbildung steht aber heute vor der Schill-Kaserne in Wesel, der Patenstadt für den Kreis Rastenburg. Nahe dem ursprünglichen Platz in Rastenburg befindet sich heute ein polnischer Gedenkstein.[2]
