Die Innenstadt ist eine überwucherte Freifläche geworden. Vom Markt steht noch ein Haus, das Rathaus existiert nicht mehr.

Die Gebäude von Raiffeisenkasse, Post, Krankenhaus, Schule, Amtsgericht (Kulturhaus) stehen noch zwischen den meisten erhaltenen Altbauten in diesem Bereich, ebenso der Wasserturm und die Mühlenwerke Scherwitz.

Auf einer Insel im See war das Neue Schloss gelegen, das im Ursprung Kunz v. Egloffstein errichten ließ. Es wurde noch vor 1678 als eingeschossige Anlage unter Beibehaltung von Kellern und Mauerteilen erneuert, 1776/77 um ein Geschoss mit ausgebauten Mansarden erhöht und durch vorgezogene Flügel erweitert. Neogotische Zutaten des 19. Jhs. wurden später wieder zurückgenommen, um die spätbarocke Erscheinung wieder zum Vorschein zu bringen.

1945 wurde das Schloss ausgeplündert und teilweise niedergebrannt. Ein Geschoss mit Strebepfeilern und Teilen des alten Mauerwerks blieb erhalten, dürfte aber inzwischen auch zusammen gebrochen sein.