Žemutinė pilis Abiejų Tautų Respublikos valdovui Augustui III Saksui 1734–1751 m. perstatyta į rokokinius trijų korpusų dviaukščius rūmus, supančius didelį keturkampį kiemą. Projekto autoriai buvo architektai Carl Friedrich Pöppelmann, Joachim Daniel von Jauch ir Johann Friedrich Knöbel. 1789 m. rūmai perstatyti pagal Giuseppe de Sacco projektą.
Rūmuose buvo koplyčia, senatorių ir pasiuntinių salės, Abiejų Tautų Respublikos valdovo apartamentai. Ši Abiejų Tautų Respublikos valdovo rezidencija vadinta Naująja arba Karališkąja pilimi. 1793 m. pilyje posėdžiavęs Abiejų Tautų Respublikos Nebylusis seimas pavirtino Abiejų Tautų Respublikos II padalijimą (kol tuo metu Gardino pilis ir miestas buvo apsupti Rusijos ir Prūsijos kariuomenių). 1795 m. pab. – 1797 m. pr. Rusijos imperatorės Jekaterinos II nurodymu pilyje buvo laikomas paskutinis Abiejų Tautų Respublikos valdovas Stanislovas Augustas Poniatovskis.
Pilies rūmai pritaikyti ligoninei, o vėliau įrengtos kareivinės. Lenkijos okupacijos laikotarpiu (1920–1939 m.) Karališkojoje pilyje buvo įrengtas viešbutis ir kazino. Per Antrąjį pasaulinį karą rūmai sudegė. Jų likučiai perstatyti 1952 m. Pirminį vaizdą išlaikė tik sfinksų skulptūromis dekoruoti įvažiuojamieji vartai. Iki 1991 m. rūmuose buvo Baltarusijos KP Gardino srities komiteto būstinė. Dabar rūmuose veikia Gardino istorijos ir archeologijos muziejus (įkurtas 1920 m.).
Klajumienė, Dalia, Vadovas po Lietuvos Didžiąją Kunigaikštystę, sudarytojos Aistė Paliušytė ir Irena Vaišvilaitė, Vilnius, Lietuvos kultūros tyrimų institutas, 2012
Manelis Eugenijus, Račis Antanas, Lietuvos istorija: enciklopedinis žinynas, I tomas (A-K), Vilnius, Mokslo ir enciklopedijų leidybos centras, 2011
