Hinter der Kirche, eingebunden in die alte Stadtmauer, befindet sich das ehemalige Pfarrhaus, das man jetzt ebenfalls als Museum eingerichtet hat. Hier wohnte u. a. Christoph Coelestin Mrongroviuswährend seiner Zeit als Pfarrer in Hohenstein.

Das Gebäude, das vor dem Krieg als Kirchenbüro und Glöcknerwohnung diente, ist mit seiner Entstehungszeit um 1684 das älteste Haus in der Stadt. Ursprünglich beherbergte es ein Hospital und die evangelische Kirchenschule. Am Anfang könnte es sich um einen Turm der Stadtbefestigung gehandelt haben, den man dann ausbaute.

Christoph Coelestin Mongrovius oder Mragowiusz (1764 -1855) wurde in Hohenstein geboren und war hier 1790 – 1797 als Pfarrer tätig, bevor er als Lektor nach Danzig ging. Nach ihm wurde die Stadt Sensburg nach dem 2. Weltkrieg in Mragowo umbenannt.