Mit dem Bau der Ordensburg auf einem Steilhang der Alle (yna) als Sitz der Domherren des ermländischen Kapitels und Residenz des Kapitelvogts, später des Administrators als dem höchsten weltlichen Beamten, begann man bereits etwa 5 Jahre vor der Übergabe der Handfeste 1353. Die Bauarbeiten dauerten bis ca. 1360. Ein mitunter genanntes Entstehungsjahr von 1334 ist urkundlich nicht verbürgt und gilt eher als unwahrscheinlich.

Der Grundriss der Burg ist quadratisch, wie im Ordensland üblich. Es gibt einen Nord- und einen Südflügel. Der Hauptflügel befand sich im Norden. Die Wehrmauer im Westen war ursprünglich 11,20 m hoch und verfügte über 2 Wehrgänge. Die Mauer wurde Mitte des 18. Jhs. auf die heutige Höhe reduziert. Auf der Innenhofseite war an diese Mauer der Pferdestall angebaut.

Das barocke Gebäude im Osten kam erst 1758 dazu als Unterkunft für den Administrator und andere Schlossbewohner sowie als Verwaltungssitz. Der Bergfried in der Südwestecke wurde Ende des 14. Jh. um 9 Etagen aufgestockt, und zwar kreisrund, weil man so für die gerade aufkommenden Feuerwaffen bessere Schussmöglichkeiten hatte. Das spitze Dach mit Wetterfahne setzte man erst 1926 auf. Der Turm in der Nordwestecke existiert nicht mehr.
Entlang des Nordens und Westens der Anlage erstreckt sich der von starken Mauern eingefasste Parcham. Auf ihm gab es Wirtschaftsgebäude, im Torhaus Stallungen, darin aber auch ein Gefängnis. Das Haus wurde 1822 in seine heutige Form gebracht, Architekt war Landbaumeister Friedrich Leopold Schimmelpfennig. Der Burggraben konnte im Notfall mit Wasser aus der Alle gefüllt werden.

Der Schlosskomplex ist ist seit der Mitte des 18. Jhs. über einen Damm von der Stadt aus zugänglich. Früher befand sich der Burgeingang auf der Alleseite. Die spitzbogige Durchfahrt ist noch zu erkennen.

Im Schlosshof stehen sog. Baben oder Steinmütterchen – rätselhafte archaische Figuren möglicherweise asiatischer Herkunft. Darunter befindet sich auch der schon zu deutscher Zeit weithin bekannte “Bartensche Rekel” (Bartener König; Quelle – J. G. Th. Grässe, Sagenbuch des Preußischen Staates, Band 2, Glogau 1868/71, S. 631-632). Die einst bekannten Rekel namens Bartel und Gustebalde stehen noch in Bartenstein (Bartoszyce).

Detaillierte Informationen über die Burg in Allenstein mit Bildern, Grundrissen, Aufrissen findet man bei Malgorzata Jackiewicz-Garniec/Miroslaw Garniec, “Burgen im Deutschordensstaat Preußen – Pomesanien, Oberland, Ermland, Masuren”, Olsztyn 2009, S. 288 – 305