Zunächst dürfte auf dem die Umgebung beherrschenden Berg eine Festungsanlage in Holz-Erde-Bauweise gestanden haben, wohl schon im 13. Jh., bevor dann im 14. Jh. der massive Ausbau erfolgte. In dieser Bauzeit war bis 1383 Kuno von Libensteyn Komtur. Der stammte vom Mittelrhein und vielleicht ist das der Grund, dass die Neidenburg mancher Burg im Westen Deutschlands ähnelt. Insbesondere die Apsis der Kapelle im Hauptgeschoß des Westflügels mit ihrer Backsteinauskleidung deutet auf eine solche Verwandtschaft hin.

Im ausgehenden Mittelalter wurde die Festung dank neuer Militärtechnik nach und nach überflüssig. Nach einem Stadtbrand 1784 fing man schon an, die Steine der beiden Vorburgen und auch z. T. des Haupthauses für den Wiederaufbau der Bürgerhäuser abzutransportieren. Weitere Beschädigungen brachten die Franzosen 1807, die während der Eroberung Preußens im Schloss kampierten und die Räume zweckentfremdeten, den Remter z. B. als Speicher benutzten.

Wie bei der Marienburg brachte die Romantik auch hier eine Besinnung auf die überkommenen kulturellen Werte des Mittelalters. Getragen vom Engagement des Kreisjustizrats Ferdinand Thimotheus Gregorovius, mit Unterstützung des Oberpräsidenten v. Schön und sogar des damaligen Kronprinzen und späteren Königs Friedrich Wilhelm IV. restaurierte und rekonstruierte man unter der Leitung von Landesbaumeister Schimmelpfennig 1828 – 1830 die Burganlagen gründlich und übergab sie dann den Justizbehörden zur Nutzung. Die richteten hier das Amtsgericht und ein Gefängnis ein, und so blieb es bis 1945.

Im 2. Weltkrieg wurde die Burg erheblich zerstört, aber 1959 – 1965 wieder aufgebaut. Heute nutzt man den Burgkomplex als Kulturhaus der Einwohner von Neidenburg und für die verschiedensten Veranstaltungen. Es gibt eine Bibliothek, Tischtennis- und Billardräume, ein Restaurant mit Café etc. Die Anlage macht einen gepflegten Eindruck.