Nordöstlich der Burg etablierte sich 1347 ein Kloster der Augustiner. Seit der Reformation stand es leer, nahm dann aber die 1626 von den Schweden aus Braunsberg vertriebenen Jesuiten auf, die hier ein Gymnasium einrichteten. Die inzwischen insbesondere nach einem Brand verfallenden Gebäude wurden wiederhergestellt. Als man das Jesuitenkolleg 1780 schloss, wurde das Gymnasium von den Preußen übernommen und weitergeführt, wobei man die Räumlichkeiten erneuerte und teilweise umgestaltete.

Die nach dem Stadtbrand 1806 wiederhergestellten Gebäude mussten 1865 einem Schulneubau weichen. Auch heute befinden sich hier Schulgebäude.

Die Augustinerkirche von 1374 brannte 1626 ab, wurde wieder aufgebaut und fungierte seitdem als Gymnasialkirche. Der heute noch sichtbare barocke Putzbau entstand ab 1762 und wurde 1799 – 1802 von Maurermeister Joachim Sadrozinski vollendet. Restaurierung 1988 – 1990.

Ausstattung aus dem 18. und 19. Jh.:

• Hochaltar 1728 – im 19. Jh. umgestaltet;

• Tabernakel um 1770 (vermutlich Werkstatt Schmidt in Rößel);

• Altarschranken um 1770;

• Kanzel um 1800;

• Orgel 18. Jh.;

• Bilder von Anton Johann Blank, Kunstprofessor an der Universität Warschau, 1821