Vom Wasserturm auf dem Mühlenberg existieren nur noch Reste. In der Rumeystrasse wurde das ehemalige Reichsheimstättengebäude 1948 abgebrochen und auf den Grundmauern wieder aufgebaut.
Das ehemalige Kreiskrankenhaus von Pillkallen/Schlossberg wird heute als Getreidespeicher genutzt. Es gibt am Markt noch das einstige Haus Drewenigs sowie das Haus Papier-Müller, außerdem das Haus der Töpferei Krüger in der Tilsiter Straße, das alte Schützenhaus, den alten Schlachthof in der Tilsiter Straße – heute eine Landmaschinenwerkstatt.
Das Amtsgericht hatte teilweise überlebt, auch das Pfarrhaus stand noch. Rathaus, Reichsbank und Finanzamt waren zerstört. Vom Bahnhof standen noch die Grundmauern. Die Schienen wurden teilweise oder ganz entfernt
Die einstige Friedrich-Wilhelm-Oberschule beherbergt heute eine Mittelschule. Das 1911 aus einer Privatschule von 1897 hervorgegangene Gymnasium bekam den Namen Friedrich-Wilhelm-Schule und erhielt 1929 ein repräsentatives Gebäude, dazu 1938 die damals modernste Turnhalle der Oberschulen Ostpreußens. Diese wurde 1944 zur Feldpostdienststelle und das Hauptgebäude zum Lazarett. Während der Kampfhandlungen zum Ende des 2. Weltkriegs hatte der Schulturm Feuer gefangen.
In der Rathausstrasse gab es die 1909/1910 gebaute städtische Volksschule für 12 Klassen, die 1930 für 17 Klassen umgebaut wurde. 1928/29 erhielt Pillkallen einen neuen Schulbau und darin eine Oberschule für Jungen und Mädchen mit Hauswirtschaftszweig und eine Turnhalle. Die städtischeBerufsschule erhielt 1935 ein eigenes Haus. Außerdem gab es noch eine vom Kreis verantworteteLandwirtschaftsschule.
Das für die Präparandenanstalt 1887 errichtete Gebäude in der Schirwindter Strasse wurde im 1. Weltkrieg zerstört. Das danach wieder aufgebaute Haus erwarb 1932 der Kreis und brachte dort die gesamte Kreisverwaltung unter.
Auf dem Gelände der ehemaligen Badeanstalt grasen heute die Kühe.