Die alten Laubenhäuser am Markt, die immerhin noch auf 2 Seiten stehen, haben teils Giebelfronten aus dem 17. und 18. Jh. bewahrt.

Mitten auf dem Marktplatz steht das ordenszeitliche Rathaus, 1373 vollendet und um 1800 von Carl Jeroschewitz umgebaut. Im Erdgeschoß gab es Marktstände für Fleisch und Brot. Im Obergeschoß befand sich hinter der westlichen Giebelfront die Ratsstube, auf der gegenüberliegenden Seite die Gerichtsstube für das städtische Schöffengericht. Der Rathausflur dazwischen fungierte bis weit ins 19. Jh. hinein als einziger großer Versammlungsraum der Bürgerschaft.

Links und rechts neben dem Eingang zum Rathaus befinden sich zwei Gedenktafeln mit Namen von 200 Einwohnern der Stadt, die im 1. Weltkrieg gefallen sind. Diese waren lange Zeit unleserlich, weil sie auch mit Mörtel verschmiert worden waren. Mit finanzieller Hilfe der Stadt Orneta, der Kreisgemeinschaft Braunsberg, von Kreisangehörigen und einer geborenen Wormditterin wurden diese Tafeln im Jahr 2013 restauriert und feierlich der Öffentlichkeit wieder zugänglich gemacht.[2]

Der später hinzugefügte, barocke kleine Dachreiter beherbergte die älteste Glocke des Ermlands, die Katharinenglocke, gegossen 1384, die ursprünglich als Ratsglocke, später als Uhrglocke diente.

1907 und 1920, zuletzt von 1968 – 1973 wurde das Rathaus gründlich renoviert und dabei innen teilweise umgestaltet. Jetzt hat man in einem Kellertresor des Rathauses fünf Pergament-Dokumente aus der Zeit von 1586 bis 1832 wiederentdeckt, die sich mit dem Alltagsleben in Wormditt befassen. Sie sind in Latein und auf Deutsch verfasst und wurden dem Staatsarchiv übergeben.[3]

Die alte Ordensburg aus dem 1. Viertel des 14. Jhs. wurde im 17.Jh. unter Bischof Simon Rudnicki erneuert und 1711 – 1724 unter Bischof Theodor Potocki weiter ausgebaut. Nach 1772 hatten die Preußen keine Interesse mehr an der Wehranlage und sie verfiel. Deshalb riß man die Mauerverbindungen und die Wirtschaftsbereiche um 1806 zusammen mit den Mauern der Stadtbefestigung und den Stadttoren ab. Nachdem die Burgräume in der Mitte des 19. Jhs noch einmal renoviert wurden, um Raum für eine Schule zu schaffen, wurden 1890 die beiden Burgflügel, gotisch und barock, abgerissen und auf den Fundamenten ein Schulneubau, die städtische Volksschule, errichtet. Im Keller, den man in den Schulbau integrierte, sind Kreuzgewölbe aus dem ehemaligen Haupthaus der Burg in einer Länge von fast 30 m erhalten. Auf dem Gelände der Vorburg, am Nordufer der Drewenz, entstand 1830 nach Entwürfen von Schinkels Oberbaudeputation eine evangelische Kirche, die heute der griechisch-orthodoxen Glaubensrichtung zur Verfügung steht, sowie das Pfarrhaus und eine Kaserne.[1]

An der Straße nach Wagten – Drweczno stand die kleine Jerusalemskapelle, die schon für 1606 bezeugt war und ihre endgültige Form 1829 erhalten hatte.