Auf eine Fläche von 500 m Länge und 300 m Breite übertrugen die ersten Siedler aus Lübeck einen Grundriss ähnlich dem Schema ihrer Mutterstadt. Die Hauptstraße parallel zum Elbingfluß war 370 m lang und 24 m breit, vier von 6 Querstraßen – 280 m lang – hatten eine Breite von 17,25 m. Im Zentrum lag der langgestreckte Alte Markt. Um die Stadt herum führte eine Wehranlage. Man schätzt, dass diese Altstadt mit 350 – 400 privaten Grundstücken ausgestattet war. Nördlich der Altstadt entstand die Lastadie, der Werftplatz, der 1343 erstmals erwähnt wurde. In ungebrochener Kontinuität ließ später dort Ferdinand Schichau Schiffe bauen.

Zunächst handelte es sich um eine Befestigung aus Erde und Holzbohlen. Doch schon bald nach 1251, als der Landmeister seine Residenz hierher verlegte, entstand eine Wehrmauer mit einer Reihe von Tortürmen in der typischen Backsteinbauweise der frühen Ordenszeit, von denen aber nur das Markttor von 1319 im Norden die Zeiten überstanden hat. Die Speicher baute man auf der gegenüberliegenden Seite des Flusses.

Der 2. Weltkrieg hat die einst viel bewunderte Altstadt ausgelöscht, aber die Polen sind mit großer Energie dabei, sie – wenn auch meist in moderner Form – wiedererstehen zu lassen und haben dabei schon eine Menge geschafft.

König Gustav Adolf von Schweden residierte während seines Aufenthalts in Elbing im Geltsackschen Haus in der Heiligen-Geist-Strasse. Die Gebrüder Spiering, die in dieser Zeit durch Kanzler Oxenstierna über die Lizenz zur Vereinnahmung der Zölle verfügten und dabei reich geworden waren, wohnten im „Königshaus“, Alter Markt 14. Von 4,75 Mio Reichstalern Zolleinnahmen zwischen 1327 und 1635 erhielten sie 5 %.

Eines der architektonisch berühmtesten Häuser in der Elbinger Altstadt war das Haus zum Kamel“, dessen Giebel von einem Dromedar gekrönt wurde.