Hauptsächlich durch die Sage von der Gründung der Markgrafenstadt weiß man überhaupt etwas von der Existenz einer herzoglichen Jagdbude. Zu dem prußischen Siedlungsgelände des Standortes, Oletzko, hat vermutlich auch eine vorhergehende prußische Fliehburg gehört.

Auf dem Platz der abgebrochenen Jagdbude, in der sich Herzog Albrecht 1544 aufhielt, baute man 1654 auf Veranlassung des Amtshauptmanns Christoph Albrecht von Schönaich das Schloß der Amtshauptmannschaft. Dieses brannte 1882 ab. 1897 entstand hier ein burgenähnliches neugotisches Gebäude, Notariat und Kreishaus. Es fungiert heute als Hauptgebäude der Hochschule Wszechnica Mazurska, der Oleckoer Alma Mater, auf der weit über 1.000 Studenten ausgebildet werden.

Die Steinbrücke (Kamienny Mostek) verbindet seit eh und je das Schloßgelände mit der Stadt. Rund um die zweite, die Lange Brücke (Dlugi Mostek) befinden sich im Röhricht Brutstellen von Haubentauchern, Blässhühnern und Schwänen. Die Brücke bildet den Anfang des Eichhornwegs – eines netten Wanderwegs am Seenufer entlang. Die noch aus dem 18.Jh. stammende Brücke über der Lega-Mündung wurde vielmals umgebaut, letztlich 2001.