Die Burg des Ermländischen Domkapitels war ehemals eine bedeutende Deutschordensburg. Ihr Bau begann noch vor der Stadtgründung ca. 1348. Der Nordflügel der Burg ist etwa 1373 entstanden, der Südflügel mit Turm bis ca. 1430. Bis 1772 war die frühere Ordensburg, mittlerweile ein Residenzschloss, der Sitz der Ermländer Kanoniker. Einer von ihnen, Nikolaus Kopernikus, lebte in den Jahren 1516–1521 auf der Burg und führte hier astronomische Beobachtungen durch.
Die Burg ist heute Sitz des Ermland- und Masuren-Museums.
