Die noch zur Herzogszeit genutzte Burg verfiel danach. Auf ihren Überresten errichtete man in der Mitte des 18. Jhs. das Haupthaus der Domänenkammer, in dem die durchreisenden Herrscher angemessen residierten. Danach wurde es Rathaus, das man aber nach dem 2. Weltkrieg 1965 abriss.
Ein evangelisches Gotteshaus muss es schon 1557 gegeben haben, denn da wurde Willenberg als Kirchdorf bezeichnet. Diese zerstörten jedoch die Tataren 1656 und der Nachfolgebau musste Anfang des 19. Jhs. wegen Baufälligkeit abgerissen werden. Die jetzt noch stehende Kirche wurde 1827 im klassizistischen Stil errichtet und war in ihren Formen stark von Schinkel geprägt. Nach dem 1. Weltkrieg wiederhergestellt und nach dem 2. Weltkrieg als Kulturhaus eingerichtet, ist sie jetzt im Zerfall begriffen. Sie hatte 1827 eine Orgel mit 35 Stimmen der bekannten Firma Karl August Buchholz aus Berlin erhalten. Es ist ungewiss, ob die noch vorhanden ist.
Die katholische Kirche befindet sich in einem guten Zustand. Sie ist ein Bauwerk von 1878/1880.