In der 2. Hälfte des 14. Jhs. wurde die Burg massiv in Stein ausgebaut. Nähere Baunachrichten aus dem Mittelalter fehlen. Die Kriege des 14. und 15. Jhs. überstand sie offenbar weniger beschädigt. Noch zur Ordenszeit diente die Burg als Sommersitz des Samländischen Domkapitels in Königsberg. Im 2. Viertel des 16. Jhs. bis ca. 1571 erfolgten umfangreiche Um- und Ausbauten,weil Herzog Albrecht sie zur Sommerresidenz umgestalten ließ. Daran beteiligt waren u. a.: Tischlermeister Hans und Meister Bartold, 1569 der holländische Maler Matz.

Anfangs bestand die Burg aus West- und Nordflügel sowie einem Tor auf der Südseite. Nach 1842 erfolgten eine neogotische Umgestaltung und die Verlegung des Eingangs an die jetzige Stelle auf der Ostseite. Burg Neuhausen war bis isn 19.Jh.hinein königlicher Besitz. Dann wurde es privater Gutsbesitz, Mitte des 19. Jhs. erworben von Adam Graf v. Luckner (1803 – 1878). Der Sohn Adam verkaufte den Besitz, der nach einer Zwischenstation an die Landbank kam. Die zweigte einen Teil der Ländereien ab, auf dem später die Villenkolonie Neuhausen-Tiergarten entstand. Das Gut verkaufte die Bank an Werner von Gustedt (1847 – 1908). Besitzerin in den ersten Jahrzehnten des 20.Jhs. war die Baronin von Gustedt. Deren Tochter Amély heiratete Hans von Massow. Deren Tochter Margarete Neumann-Silkow., geb. v. Massow (gest. 1973), war die letzte Erbin des Gutes Neuhausen.[1]

Die Zerstörungen von 1945 ließen nur die beiden unteren Stockwerke übrig, die mit einem Notdach versehen sind. Sie sind heute insgesamt verputzt und getüncht. Ein Meliorationsbetrieb nutzte den Burgkomplex lange Zeit als Betriebsgelände.

Der Westflügel aus der Mitte des 14. Jhs. bot Wohnräume und diente der Repräsentation. Er flog 1920 infolge einer Explosion in die Luft, wurde danach aber unter Verwendung der stehen gebliebenen Außenmauern im neogotischen Stil wieder aufgebaut.
Aufteilung: in der Südwestecke sind der Kellerraum und der darüber liegende Erdgeschoßraum mit Kreuzgewölbe, das vom Boden aufsteigt, erhalten. Die beiden südlichen Räume im Obergeschoß verfügten ursprünglich über Sterngewölbe auf Mittelstützen. Jenes im nordwestlichen Eckraum war zwölfteilig. Unter Herzog Albrecht erfolgte der Einbau von Renaissance-Portalen und -Kaminen. Der Nordwestteil wurde im 19. Jh. zum Pferdestall umgebaut.

Im Nordflügel befanden sich Wirtschaftsräume und das Badehaus. Er war ehemals dreigeschossig und wurde Ende des 14. Jhs. in seinem Ostteil vielleicht erst im 15. Jh. errichtet. Im 16. Jh. erfolgten erhebliche Umbauten. Der westliche Teil war zweischiffig mit 2 kreuzgewölbten Jochen auf Mittelstützen. Ab dem 19. Jh. wurde er als Pferdestall genutzt. Der tonnengewölbte Keller ist vermutlich in der Herzogszeit entstanden.

Der Südflügel entstand um 1700, wobei man drei ältere Gebäude und dabei auch das alte Tor aus dem 14. Jh. integrierte. Hier war u. a. die Wagenremise untergebracht. In der Mitte des 19. Jhs. baute man das Haus im Stil der Neogotik um. Dabei entstanden die zinnenbewehrte Mauer und das Tor im Osten. Erhalten blieb der Unterbau des ehem. dreigeschossigen Gebäudes östlich des ursprünglichen Haupteingangs. Dieser war um 1380 – 1400 errichtet worden und war damals nur halb so breit wie heute. Die Erweiterung zum Hof hin und der einfache Treppenturm entstanden vermutlich nach 1770, wobei die ehemalige Hofmauer sich dann innerhalb des Gebäudes befand. In der Südostecke befindet sich der Unterbau eines Rundturms aus Backstein.

Die Mauer auf der Ostseite entstand im 19. Jh. neogotisch und erhielt einen Torbau.