Das Jagdhaus Grünhoff von 1623 diente auch noch dem Großen Kurfürsten für Jagden in dem Grünhoffer Forst. Ein Umbau erfolgte ab 1697 – 1701/03 nach Plänen des Hofbaumeisters in Königsberg, Christian Friedrich Eltester (1671 – 1700) aus Potsdam. Das Schloss wurde auf Veranlassung von Bülows Sohn und Erben Friedrich Albert (1811 – 1887) von 1850 – 1854 durch Baumeister Mohr aus Königsberg spätklassizistisch umgebaut. Dabei baute man einen Treppenturm an, setzte ein Obergeschoss auf und ergänzte den Gebäudekomplex um einen asymmetrischen südlichen Seitenflügel. Diese Gestalt hat der Herrensitz noch heute.

Am Rande des zum Gutsbesitz gehörenden Gallwaldes ließ Albert Graf Bülow von Dennewitz 1843 – 1847 eine Gruftkapelle als achteckigen Ziegelbau mit Vorhalle errichten, in den er noch während der Bauphase die sterblichen Überreste des Generals überführen und in einem schwarzen Granitsarkophag, aus einem ostpreußischen Findling gehauen, bestatten ließ. Diese Anlage ist heute vollständig zerstört.

Letzter deutscher Eigentümer von Grünhoff war Dietrich Graf Bülow von Dennewitz (1886 – 1957), der Urenkel des Generals, bzw. sein Sohn Friedrich Wilhelm Graf Bülow von Dennewitz (geb. 1913), der seit 1943 in Grünhoff ansässig war. Ihm gelang es, wesentliche Teile der Andenken an seinen berühmten Vorfahren zu retten, z. B. die Briefe des Generals an seine Frau Pauline Juliane, geb. von Auer (1790 – 1842), der KPM-Pokal von 1813, die KPM-Tasse, die silbernen Sporen Napoleons und dessen grünsamtenes Kissen mit goldbesticktem „N“.[3] Er war nach dem Krieg literarischer Sprecher des Südwestfunks und lebte in Baden-Baden.

Es gab auch Bilder mit Andenken an den General. Ein Enkel, Wilhelm Graf von Bülow und Dennewitz (1856 – 1929), war Kunstmaler und hat Erinnerungsstücke an den Großvater, aber auch die Grabkapelle in Grünhoff, in Zeichnungen fest gehalten.

Am 1. April 1928 bis 1940 wurde das Gut verpachtet. Als weitere Sanierungsmaßnahme vermietete Dietrich Graf Bülow von Dennewitz, das Herrenhaus am 1. 11. 1935 an die „Nationalsozialistische Volkswohlfahrt – Gau Ostpreußen“. [2]

Dem Vernehmen nach wurde das Gutshaus im Jahr 2007 von der Gazprom gekauft, aber auch im Jahr 2009 immer noch nicht gesichert oder gar restauriert. Nach neueren Informationen soll der Westflügel eingestürzt sein.[1]

Nach 1945 diente Schloss Grünhoff als Kindergarten, Apotheke, Ambulatorium, Lager und Laden, später als Club und Disco. Nach dem Ende der Kolchosenwirtschaft stand das Haus leer. Die Bewohner der Umgebung bedienten sich bei Türen, Fußbodenbrettern  und Fenstern zu Heizzwecken. Deshalb drang Feuchtigkeit in die Mauern ein. 1999 hat wohl ein Privatmann das Objekt erworben, aber nichts gegen den Verfall unternommen. Auch ein Gesetz zur Erhaltung des kulturellen Erbes von 2007 brachte keine Verbesserung. Erst der Zusammenbruch des Nordflügels 2014 rief die Justiz auf den Plan. Nach der Zwangsenteignung durch das Kreisgericht in Selenogradsk fand sich 2015 ein neuer Besitzer, und der beginnt mit Wiederaufbau und Renovierung. Vielleicht entsteht hier wirklich ein Hotel mit Bibliothek und Museum.[4] Der neue Eigentümer soll ein ständig in Argentinien lebender Russe sein. Der rechte Flügel ist wieder aufgebaut worden und das Dach wurde neu gedeckt.[5]