Die Jesuiten hatten kaum den Bau Ihrer neuen Gebäude für ihr Kolleg von 1743 – 1771 vollendet, als ihr Orden 1773 aufgehoben wurde. Zukünftig nutzte man die Räume für ein Gymnasium. Einer der ersten Schüler war der Vater des Feldmarschalls und Reichspräsidenten Paul von Hindenburg.

Zuerst königliches Gymnasium, nannte sich die Schule später Gymnasium Hosianum und in der letzten deutschen Zeit Hermann-von-Salza-Schule. Auch heute ist hier eine Schule untergebracht, wobei aber nur die Erdgeschoßmauern und eines der barocken Portale vom vorherigen Gebäude erhalten blieben. Der Rest ist Wiederaufbau von 1960 bis 1973. Der rechteckige Eckturm des Schulhauses hieß der “Pfaffenturm”, weil er den Eckpfeiler des ehemaligen Franziskanerklosters darstellte. Der Pfaffenturm gehörte seit 1858 dem Gymnasium, das hier Schulsammlungen unterbrachte. Der von hier in südlicher Richtung verlaufende Teil des Stadtgrabens hieß der “Pflaumengrund”. Dort hat sich heute eine Freilichtarena etabliert.

Neben dem Jesuitenkolleg befand sich in einem schönen Barockhaus mit zwei Nebengebäuden das Lyceum Hosianum mit einer philosophischen und einer theologischen Fakultät im Range einer Universität, das der Ausbildung des ermländischen Klerus diente. Diesen Häusern benachbart war das Steinhaus mit dem ermländischen Priesterseminar, das 1551 von Kardinal Hosius gegründet worden war. Das Steinhaus bauten die Jesuiten 1691 – 1694. 1931 entstand das neue Haus. Diese Gebäude gingen alle durch den letzten Krieg verloren.