Tvankstės pilis stovėjo ant kalvos, dešiniajame Priegliaus krante. Kryžiuočiai ją sudegino ir 1255 m. toje vietoje pasistatė savo medinę pilį. Vėliau iškilo mūrine pilis, apjuosta dviem sienom su devyniais bokštais. Po Didžiojo prūsų sukilimo tiek prūsai, tiek lietuviai ne kartą norėjo Karaliaučiaus pilį užimti. 1457 m. į Karaliaučių atsikėlė Ordino vyriausiasis magistras, o vėliau Ordinas čia perkėlė ir savo sostinę iš Marienburgo.
XVI a. 2,5–3 km spinduliu nuo pilies buvo pastatytas gynybinis pylimas, žinomas Lietuvių pylimo vardu. Pradžioje tai buvo tik aukštas žemės pylimas su giliu ir plačiu grioviu. Bėgant laikui jis keitėsi. 1626–1634 m. pagal lietuvių architekto Teofilio Spynausko projektą Lietuvių pylimas buvo pirmą kartą rekonstruotas. Pastatyti bastionai, kazematai. Ypač darbai paspartėjo Karaliaučiuje apsigyvenus paskutiniam Biržų–Dubingių Radvilų šakos atstovui – Boguslavui Radvilai, tapusiam Brandenburgo ir Prūsijos valdovo kunigaikščio Frydrycho patarėju ir Prūsijos generalgubernatoriumi. Jis apjuosė Karaliaučių gynybiniu pylimu.
Pilis, tapusi hercogų dvaru, XVII a. buvo rekonstruota. Pilies bažnyčioje buvo karūnuojami Prūsijos karaliai. Vėliau joje įšventindavo evangelikų kunigus. 1675 m. spalio 21 d. čia buvo įšventintas Pilypas Ruigys, o 1743 m. spalio 21 d. – Kristijonas Donelaitis.
Pilyje veikė sena biblioteka, nuo 1743 m. čia įsikūrė prūsistiką ir lituanistiką tyrinėjusi karališkoji vokiečių draugija – iki Lietuvių literatūros draugijos įsteigimo 1879 m. Tilžėje, tai buvo svarbiausias lituanistinių tyrinėjimų centras. Nuo 1844 m. Karaliaučiaus pilyje veikė draugija „Prūsija“, tyrinėjusi Mažosios Lietuvos ir Prūsijos praeitį. Draugijos surinktoms archeologijos ir etnografijos vertybėms pristatyti pilyje buvo įkurtas muziejus.
Po Antrojo pasaulinio karo iš pilies liko vien plikos sienos, kurios 1967 m. buvo susprogdintos. Dabar šioje vietoje – centrinė aikštė su buv. Tarybų rūmais.
Šilas Vytautas, Sambora Henrikas, Mažosios Lietuvos kultūros pėdsakai Kaliningrado srityje, Vilnius, Mintis, 1990
