Das Jagdhaus Grünhoff von 1623 diente auch noch dem Großen Kurfürsten für Jagden in dem Grünhoffer Forst. Ein Umbau erfolgte ab 1697 – 1701/03 nach Plänen des Hofbaumeisters in Königsberg, Christian Friedrich Eltester (1671 – 1700) aus Potsdam. Das Schloss wurde auf Veranlassung von Bülows Sohn und Erben Friedrich Albert (1811 – 1887) von 1850 – 1854 durch Baumeister Mohr aus Königsberg spätklassizistisch umgebaut. Dabei baute man einen Treppenturm an, setzte ein Obergeschoss auf und ergänzte den Gebäudekomplex um einen asymmetrischen südlichen Seitenflügel. Diese Gestalt hat der Herrensitz noch heute.

Am Rande des zum Gutsbesitz gehörenden Gallwaldes ließ Albert Graf Bülow von Dennewitz 1843 – 1847 eine Gruftkapelle als achteckigen Ziegelbau mit Vorhalle errichten, in den er noch während der Bauphase die sterblichen Überreste des Generals überführen und in einem schwarzen Granitsarkophag, aus einem ostpreußischen Findling gehauen, bestatten ließ. Diese Anlage ist heute vollständig zerstört.

Letzter deutscher Eigentümer von Grünhoff war Dietrich Graf Bülow von Dennewitz (1886 – 1957), der Urenkel des Generals, bzw. sein Sohn Friedrich Wilhelm Graf Bülow von Dennewitz (geb. 1913), der seit 1943 in Grünhoff ansässig war. Ihm gelang es, wesentliche Teile der Andenken an seinen berühmten Vorfahren zu retten, z. B. die Briefe des Generals an seine Frau Pauline Juliane, geb. von Auer (1790 – 1842), der KPM-Pokal von 1813, die KPM-Tasse, die silbernen Sporen Napoleons und dessen grünsamtenes Kissen mit goldbesticktem „N“. Er war nach dem Krieg literarischer Sprecher des Südwestfunks und lebte in Baden-Baden.

Es gab auch Bilder mit Andenken an den General. Ein Enkel, Wilhelm Graf von Bülow und Dennewitz (1856 – 1929), war Kunstmaler und hat Erinnerungsstücke an den Großvater, aber auch die Grabkapelle in Grünhoff, in Zeichnungen fest gehalten.

Am 1. April 1928 bis 1940 wurde das Gut verpachtet. Als weitere Sanierungsmaßnahme vermietete Dietrich Graf Bülow von Dennewitz, das Herrenhaus am 1. 11. 1935 an die „Nationalsozialistische Volkswohlfahrt – Gau Ostpreußen“. Seit jüngerer Zeit nach dem Krieg steht das Haus leer. Da Bewohner der Umgebung Türen und Fenster zu Heizzwecken entfernten, dringt jetzt Feuchtigkeit in die Mauern und die Zerstörung des Hauses wird schnell voranschreiten.

Dem Vernehmen nach wurde das Gutshaus im Jahr 2007 von der Gazprom gekauft, aber auch im Jahr 2009 immer noch nicht gesichert oder gar restauriert. Nach neueren Informationen soll der Westflügel eingestürzt sein.[1]