Die steinerne Ausführung der Burg in Tapiau erfolgte ab 1351 unter dem Großmarschall und Komtur von Königsberg, Siegfried von Danenfeld, und wurde im 3. Viertel des 14. Jhs. abgeschlossen. Die Vorburg war hier besonders stark befestigt. Über dem Schlosstor ist noch die hohe Fallgitterbahn zu erkennen. In der Mitte des Hauptgeschosses befand sich ein quadratischer Raum mit Tonnengewölbe, der als Wohnraum der Gebietiger anzusehen ist. Eine andere, schlichtere Wohnung dürfte dem Hauskomtur zugedacht gewesen sein. Das auf der Westseite gelegene Wohnrevier, bestehend aus drei Gemächern, gehörte dem Komtur: ein schmaler Raum in der Mitte war Vorraum, links lag das Schlafgemach, rechts der Remter. Der stattliche Remter mit achteiligem Sterngewölbe und schlanken Fenstern wirkte geradezu vornehm. Von der Vorburg gibt es keine Reste.
Fürst Albrecht von Österreich ließ sich 1377 mit fünf Grafen im Gefolge und 50 Mannen, Rittern und Edelknappen in der Burg nieder. Ebenso hielt sich hier Graf Derby, später König Heinrich IV. von England, während eines Kreuzzuges gegen die Litauer 1390/91 als Gast auf.
Als 1457 der Hochmeistersitz von der Marienburg nach Königsberg verlegt werden musste, zog der Großkomtur gleichzeitig von der Marienburg nach Tapiau um und leitete nunmehr von hier aus die innere Verwaltung des Ordensstaates. Außerdem verlagerte man das Archiv des Ordens und die Bibliothek, die „Ordensliberei“, nach Tapiau. Die Kisten mit den Akten der Kanzlei deponierte man in der Ratsstube, die über den Badestuben lag. Dort wurden sie 1506 durch ein Brandunglück vernichtet.
Herzog Albrecht von Hohenzollern weilte oft in der Burg und starb hier am 20. 3. 1568 – am selben Tag wie seine 2. Gemahlin Anna Maria von Braunschweig in Neuhausen.
Nachdem die Burg nacheinander Sitz eines Komturs, eines Pflegers, eines Amthauptmanns und letztlich eines Domänenpächters war, wurde sie unter König Friedrich Wilhelm II. 1786 – 1797 durch massiven Umbau und teilweisen Abbruch in eine Landesarmenanstalt mit angeschlossener Besserungsanstalt verwandelt, die 1793 ihr Reglement erhielt. 1879 stockte man 2 Geschosse auf und nutzte die Burg noch deutlicher als Besserungsanstalt für „arbeitsscheues Gesindel“, Landstreicher und Dirnen. Die Vorburg verschwand. Erwähnenswert ist das 1792 zur Flussseite hin angebaute Versorgungshaus im Stil der Zeit.
Ab 1893 nahm man neben Bettlern und Hilfsbedürftigen auch Blinde und Taubstumme auf, ab 1902 Geisteskranke. Aus dieser Einrichtung, die sich flächenmäßig außerordentlich ausdehnte, ging 1902 die Landespflegeanstalt und Irrenanstalt der Provinz Ostpreußen hervor. Sie bestand in einem großen Gebäudekomplex mit diversen Werkstätten für insgesamt mehr als 1.500 Personen, der sich an das Ordensschloss anlehnte.
Das Reglement für die Anstalt umfasste 207 Paragraphen und war beispielhaft für alle folgenden derartigen Einrichtungen. „Wer zuviel wagt, kommt nach Tapiau“, hieß es im Volksmund, aber mit der Vorbildfunktion war es nach einiger Zeit vorbei: unter den Nationalsozialisten wurden 1940 die geistig behinderten Patienten im Lager Soltau als „lebensunwertes Leben“ umgebracht.
1945 wurde die Burg nur geringfügig beschädigt. Es gab weitere Umbauten im Innern. Heute dient die Burg als Gefängnis und ist für Touristen nicht zugänglich.
Die Burg von Tapiau war eine Vierflügelanlage. Die Feldsteine reichen bis an das Hauptgeschoß heran, darüber verwendete man Backsteine. Ein Bergfried war nicht vorhanden. Erhalten blieben der Nordwestflügel mit Torweg und alten Räumen sowie die tonnengewölbten Keller des Südostflügels. Über dem Rundbogeneingang sieht man noch die Fallgitternische. Im Erdgeschoß liegen nach Norden zu zwei Räume zu je drei Jochen und Kreuzrippengewölben sowie achteckigen Granitpfeilern. Im Hauptgeschoß befinden sich zwei Gruppen mit je drei Zimmern nach dem Vorbild des Marschallsbaus der Königsberger Burg, der dort ab 1320 begonnen wurde. Im Westteil gibt es drei ehemalige Wohnräume. Die Räume nach Norden waren besonders reich ausgestattet, teilweise mit Sterngewölben und Tierköpfen auf den Konsolen.
