Die Bauarbeiten für eine große, vierflügelige Anlage begannen 1336 und zogen sich bis 1390 hin. Zuerst baute man vermutlich den Südwestflügel, ohne Keller. Südost- und Nordostflügel folgten mit Kellern. Im östlichen Teil des Südostflügels befand sich die Kapelle, von der auf der Hofseite noch Reste des profilierten Eingangsportals erkennbar sein könnten. Als letztes errichtete man den Nordwestflügel mit dem Torweg zur höher gelegenen Vorburg, die sich ohne Trennung durch einen Graben an die Hauptburg anschloss.

Ursprünglich als Komturssitz gedacht, wurden diese Pläne wegen der ständigen Bedrohung durch die Litauer aufgegeben und das Bauwerk ab 1347 nur noch als Sitz eines Pflegers genutzt. Ein litauisches Heer unter Swidrygall (Swerdeyke), Sohn von Fürst Kynstut, belagerte, eroberte und zerstörte 1376 und 1377 die Burg. Beim Wiederaufbau verstärkte man die Wehranlagen.

Die 100 m lange Vorburg wurde in deren Westecke mit dem Peinturm abgeschlossen, einem für den Einsatz von Feuerwaffen eingerichteten Verteidigungsturm aus Backstein mit einem Oberteil aus der 2. Hälfte des 16.Jhs. Um 1500 erweiterte man die Vorburg durch ein größeres Wirtschaftsgebäude. Nach dem 2. Weltkrieg nutzte lange Zeit ein Baubetrieb die Anlagen. Dieser ist inzwischen in Konkurs gegangen.

Graf Henry of Derby, später König Heinrich IV. von England, war 1390 aus Anlass einer „Litauerreise“ auf der Burg zu Gast. 1457 wurde die Burg von den Polen eingenommen und zerstört, jedoch sogar mit Erweiterungen wieder aufgebaut.

1642 – 1648 wohnte hier Königin Maria Eleonore von Schweden, Witwe Gustav Adolfs von Schweden und Schwester des Großen Kurfürsten.

Kurz nach 1700 baute man einen Teil der Burg zum Magazin um. Als die weiterhin vorhandeneGarnison unter der Leitung des Generals Wuthenau stand, teilte man diesem 1721 die ersten preußischen Ulanen zu. Nach der Gründung des Hofgerichts 1723 anstelle des bisherigen Hauptamts zog dessen Präsident in die Burg ein. Daneben Nutzung als Salzmagazin, Kaserne, Verwaltungsgebäude und später Heimatmuseum. 1808 tagte das Oberlandesgericht im Schloss. Seit 1879 Sitz des Landgerichts. 1881 Umbau des „Haus“ in eine Kaserne mit Ulanen.

In Ostpreußen wurden die Störche geliebt und gehegt. Der Kreis Insterburg tat sich hier damit hervor, dass die Storchenberingung unter Leitung von Dr. Hornberger und dem Einsatz vieler Helfer besonders intensiv betrieben wurde und in dieser Hinsicht als Musterkreis galt.

In Ostpreußen wurden die Störche geliebt und gehegt. Der Kreis Insterburg tat sich hier damit hervor, dass die Storchenberingung unter Leitung von Dr. Hornberger und dem Einsatz vieler Helfer besonders intensiv betrieben wurde und in dieser Hinsicht als Musterkreis galt.

In Ostpreußen wurden die Störche geliebt und gehegt. Der Kreis Insterburg tat sich hier damit hervor, dass die Storchenberingung unter Leitung von Dr. Hornberger und dem Einsatz vieler Helfer besonders intensiv betrieben wurde und in dieser Hinsicht als Musterkreis galt.

Nach dem 2. Weltkrieg diente die Burg bis 1948 als Lager für gefangene Deutsche, danach bis 1961 als Militärgefängnis. Seit 1964 verfällt die Burg dramatisch. Immerhin existieren von der Burganlage noch etliche Außenmauern des südwestlichen und nordöstlichen Abschnitts, ansonsten noch Mauerstümpfe.

Der barocke Verwaltungsflügel des Burgareals hat die Zeitläufe überstanden. Er wurde früher vom Landgericht genutzt. In 2 seiner Räume haben junge russische Idealisten ein kleines Museum zur Geschichte von Burg und Stadt Insterburg sowie eine kleine Gemäldegalerie eingerichtet. Im Erdgeschoß gibt es ein kleines Café. Der Maler Andrej Nikolajewitsch Smirnow tut sich dabei als eine Art Kustos hervor, ebenso die Kulturamtsleiterin Alwina Iwanowa. 1997 fand man bei Grabungsarbeiten in der Nähe der Burg das Siegel des Amtsgerichts. Im Jahr 2003 hat es im Museum leider erheblich gebrannt. Im Sommer treffen sich im Burghof regelmäßig Archäologen und Studenten zum Sommerlager Kamswikus, um gemeinsam historische Studien zu betreiben und mittelalterliche Ritterspiele aufzuführen.

Neuerdings ist die Rekonstruktion des Ordensschlosses mit erheblicher Unterstützung durch die Heimatkreisgemeinschaft Insterburg in der Diskussion. Die im Besitz der Föderation befindliche Burg hat man bereits an einen privaten Investor vermietet, was eine Vorstufe für eine private Sanierung sein könnte. Der nahe Schlossteich und der Gewehnsche Teich wurden 1992 wiederhergerichtet.