Auf dem Platz der alten Katharinenkirche errichtete man 1885/86 das Rathaus der Neustadt, auch Bauernvorstadt genannt, das heute noch steht. Das ordenszeitliche Rathaus auf dem alten Markt war 1783 abgerissen worden.
Das Kreishaus ist ein Bau von 1895. Auf dem Hermannsberg westlich des Oberteichs gelegen, errichtete man 1913 – 1915 das Kreiskrankenhaus, das 1930 – 1932 erweitert wurde. Am Krankenhaus wurde zu Pfingsten 2002 eine Gedenktafel für Dr. Ludwig Diehl enthüllt, der Direktor des Hospitals von 1908 bis 1945 war.
Westlich der St. Georgskirche an der westlichen Stadtmauer steht das alte Gymnasium, neogotisch errichtet 1855 – 1859. Prominente Schüler dieser Bildungsanstalt waren Wojciech Ketrzynski von 1855 – 1859 und der Physik-Nobelpreisträger von 1911, Wilhelm Wien, in den Jahren 1875 – 1879.
Der Rastenburger Befestigungsring, 1357 – 1370 errichtet und 1431 erneuert, wies ursprünglich neben 2 Stadttoren, die man 1819 abriss, 13 Türme auf. Davon stehen noch der Bahrenturm mit 7 m innerem Durchmesser in der Südwestecke, rechts daneben der schlanke Josephiturm mit dem spitzen Schieferdach. In der Nordwestecke steht der Pulverturm mit Rautenmuster, in der Nordostecke der Wasserturm. Teile des Mauerrings gibt es noch im Norden und Westen der Altstadt, allerdings seit den 1960er Jahren in der Höhe vermindert.
Die einstige Hindenburg-Kaserne wurde nach 1945 von der polnischen Armee genutzt. Danach zog der Grenzschutz dort ein. In dieser Zeit verfiel das Offizierskasino und der dazu gehörige Garten. In diesem Garten überlebte das deutsche Kolonialkriegerdenkmal, ein Findling, auf dem 7 Namen von Soldaten des in Rastenburg stationierten Grenadier-Regiments König Friedrich der Große (3. Ostpreußisches) Nr. 4 eingraviert sind, die im Herero- und Nama-Feldzug (1904 – 1906) gefallen waren. Dazu ist auf dem Findling auch das Wappen des Regiments abgebildet, das das älteste Regiment der Preußischen Armee war. Um einer Beschädigung oder einem Verschwinden des Denkmals vorzubeugen, sorgten deutsche Heimatvertriebene im Zusammenwirken mit dem örtlichen Heimatmuseum und mit Hilfe des dem Kasinogarten benachbarten Hotels Agros dafür, dass der Findling auf dem Gelände unmittelbar hinter diesem Hotel einen neuen Platz fand. Hier erstreckte sich bis zu seiner Zerstörung und Einebnung nach 1945 der Soldatenfriedhof Luisenhöhe. Der Stein wurde gereinigt und die Inschriften restauriert. Zusätzlich stellte man den Grabstein eines 1915 in Russland gefallenen Angehörigen des Rastenburger Regiments auf, den man in der Nähe gefunden hatte und bildet so eine neue kleine, aber würdevolle Gedenkstätte.[1]
