In der 2. Hälfte des 14. Jhs. wurde die Burg massiv in Stein ausgebaut. Nähere Baunachrichten aus dem Mittelalter fehlen. Die Kriege des 14. und 15. Jhs. überstand sie offenbar weniger beschädigt. Noch zur Ordenszeit diente die Burg als Sommersitz des Samländischen Domkapitels in Königsberg und offenbar auch des Bischofs von Samland. Herzog Albrecht verschrieb die Burg 1550 im ersten Ehevertrag seiner zweiten Frau. Im 2. Viertel des 16. Jhs. bis ca. 1571 erfolgten umfangreiche Um- und Ausbauten, weil Herzog Albrecht sie zur Sommerresidenz umgestalten ließ[2]. Daran beteiligt waren u. a.: Tischlermeister Hans und Meister Bartold, 1569 der holländische Maler Matz.
Anfangs bestand die Burg aus West- und Nordflügel sowie einem Tor auf der Südseite. . König Friedrich Wilhelm III. vergab die Burg samt Domäne 1814 an General Friedrich Wilhelm Bülow von Dennewitz als Dotation für dessen Verdienste in den Befreiungskriegen. Die Erben verkauften das Anwesen 1842 an Adam Graf v. Luckner (1803 – 1878). Nach 1842 erfolgten eine neogotische Umgestaltung und die Verlegung des Eingangs an die jetzige Stelle auf der Ostseite. Der Sohn Adam verkaufte den Besitz, der nach einer Zwischenstation an die Landbank kam. Die zweigte einen Teil der Ländereien ab, auf dem später die Villenkolonie Neuhausen-Tiergarten entstand. Das Gut verkaufte die Bank an Werner von Gustedt (1847 – 1908). Gegen Ende des 19. Jhs. waren der Schloßpark und der Forst der Burg ein beliebtes Ausflugsziel der Königsberger Gesellschaft. Besitzerin in den ersten Jahrzehnten des 20.Jhs. war die Baronin von Gustedt. Deren Tochter Amély heiratete Hans von Massow. Deren Tochter Margarete Neumann-Silkow, geb. v. Massow (gest. 1973), war die letzte Erbin des Gutes Neuhausen.[1]
1935 eröffnete eine Niederlassung des Behring-Instituts in Neuhausen ihre Pforten. 1945 wurde die Burg stark beschädigt.
Die Zerstörungen von 1945 ließen nur die beiden unteren Stockwerke übrig, die mit einem Notdach versehen wurden. In den 1950er Jahren wurden Teile der Burg wiederaufgebaut. Seit 1960 ist die Burg Kulturdenkmal von landesweiter Bedeutung. Einige Zeit waren in der Burg Produktions- und Lagerstätten eingerichtet. Ein Meliorationsbetrieb nutzte den Burgkomplex lange Zeit als Betriebsgelände.
Die Burganlage ist der Russisch Orthodoxen Kirche übertragen worden. Diese hat zwei ihr nahestehende Firma 2023 beauftragt, die Gebäudesubstanz zu reparieren und zu restaurieren. Ziel ist, einen Komplex mit Museum. Restaurant und Hotel mit Park zu schaffen. Bei den ersten Arbeiten an den Gebäuden entdeckte man überraschend einzigartige Fresken, die möglicherweise im 16. Jh. während des Übergangs vom Katholizismus zur Reformation entstanden. Außerdem stieß man auf einem verwinkelten Geheimgang, der von einer dicken Schicht Ziegeln umgeben war. Bei der Restaurierung bemüht man sich um historische Authentizität und verwendet z. B. deutsche Ziegelsteine, die man in der Region gesammelt hat.[3]
Der Westflügel aus der Mitte des 14. Jhs. bot Wohnräume und diente der Repräsentation. Er flog 1920 infolge einer Explosion in die Luft, wurde danach aber unter Verwendung der stehen gebliebenen Außenmauern im neogotischen Stil wieder aufgebaut.
Aufteilung: in der Südwestecke sind der Kellerraum und der darüber liegende Erdgeschoßraum mit Kreuzgewölbe, das vom Boden aufsteigt, erhalten. Die beiden südlichen Räume im Obergeschoß verfügten ursprünglich über Sterngewölbe auf Mittelstützen. Jenes im nordwestlichen Eckraum war zwölfteilig. Unter Herzog Albrecht erfolgte der Einbau von Renaissance-Portalen und -Kaminen. Der Nordwestteil wurde im 19. Jh. zum Pferdestall umgebaut.
Im Nordflügel befanden sich Wirtschaftsräume und das Badehaus. Er war ehemals dreigeschossig und wurde Ende des 14. Jhs. in seinem Ostteil vielleicht erst im 15. Jh. errichtet. Im 16. Jh. erfolgten erhebliche Umbauten. Der westliche Teil war zweischiffig mit 2 kreuzgewölbten Jochen auf Mittelstützen. Ab dem 19. Jh. wurde er als Pferdestall genutzt. Der tonnengewölbte Keller ist vermutlich in der Herzogszeit entstanden.
Der Südflügel entstand um 1700, wobei man drei ältere Gebäude und dabei auch das alte Tor aus dem 14. Jh. integrierte. Hier war u. a. die Wagenremise untergebracht. In der Mitte des 19. Jhs. baute man das Haus im Stil der Neogotik um. Dabei entstanden die zinnenbewehrte Mauer und das Tor im Osten. Erhalten blieb der Unterbau des ehem. dreigeschossigen Gebäudes östlich des ursprünglichen Haupteingangs. Dieser war um 1380 – 1400 errichtet worden und war damals nur halb so breit wie heute. Die Erweiterung zum Hof hin und der einfache Treppenturm entstanden vermutlich nach 1770, wobei die ehemalige Hofmauer sich dann innerhalb des Gebäudes befand. In der Südostecke befindet sich der Unterbau eines Rundturms aus Backstein.
Die Mauer auf der Ostseite entstand im 19. Jh. neogotisch und erhielt einen Torbau.