Gedimino laikais Lyda jau buvo aplinkinės srities centras ir Lietuvos didžiųjų kunigaikščių valda. Tuos laikus mena viena seniausių Lietuvos mūro pilių – Lydos pilis, pastatyta šalia kelio, kuris vedė iš Vilniaus į Gardiną, bei nuolaidžioje aukštumoje, kurią iš trijų pusių supo vandens perkasas. Rytų pusėje teka Lydajos upelis. Pilis pastatyta XIII a. IV dešimtmetyje. Tai aptvarinio (gardinio) tipo mūrinė pilis su dviem bokštais ir vienais vartais, netaisyklingo keturkampio plano uždaras gynybinis ir gyvenamasis kompleksas. Sienos kiautiniu būdu mūrytos iš lauko akmenų ir plytų, surištų kalkių bei molio skiediniu, 12 m aukščio 93,5 x 83,5 x 80 x 84 m ilgio, 2,5 m storio apačioje, 1,5 m viršuje. Sienų viršų puošia apskritų nišų frizas. Pilies vidaus aikštė buvo 81,1 m ilgio ir 78 m pločio. Pilies bokštai – keturkampiai, stovėjo šiaurės rytų ir pietvakarių pusėje. Pilies viduje būta medinių pastatų. Nuo XIV a. 8 dešimtmečio iki 1381 m. pilį valdė Algirdo, vėliau Jogailos patarėjas Vaidila. Vaidila buvo lietuvių bajoras, Jogailos sesers Marijos Algirdaitės vyras. Pasak Lietuvos metraščių Trumpojo sąvado (1446 m.), Vaidila Algirdo dvare dirbo kepėju, kambarininku, taurininku, o galiausiai iš Algirdo gavo valdyti Lydą. Vaidila dalyvavo Jogailai sudarant Dovydiškių sutartį su Vokiečių ordino atstovais (1380-05-21), kuri buvo priešiška sutartis Kęstučiui. Vaidila turėjo milžinišką įtaką Jogailai, o rengdamas sąmokslą prieš Lietuvos didijį kunigaikštį Kęstutį Vaidila susirašinėjo su ordino pareigūnais. Galiausiai Kęstučio paliepimu jis buvo 1381 m. pakartas. 1381–1392 m. pilį valdė kunigaikštis Kaributas. Nuo 1392 m. pilį valdė Lietuvos didžiojo kunigaikščio skiriami seniūnai. Pilyje buvo stačiatikių cerkvė (1533 m. iškelta į Lydos miestą). Viršutiniuose pilies aukštuose buvo gyvenamosios ir ūkinės patalpos (tarp jų kareivinės bei komendanto butas).
1568–1794 m. pilyje veikė apskrities bajorų teismas, čia buvo saugomi jų dokumentai. 1638 m. prie pilies sienos leista statyti pastatą teismo knygoms saugoti. Lydos pavieto teismo aktai pilyje buvo saugomi iki pat Abiejų Tautų Respublikos trečiojo padalijimo. Lydos pilis pradėjo nykti jau po 1710 m., o 1794 m. pilis buvo apleista. 1794–1914 m. pilies aikštelė Rusijos Imperijos kariuomenės dalinių naudota kaip šaudykla.
1982 m. Lydos pilies griuvėsiai konservuoti, iki 2004 m. atstatytos pilies sienos ir šiaurės rytų pusės bokštas. 2005 m. Lydos pilyje įsikūrė Lydos istorijos ir meno muziejus.
Liškevičienė, Jolita, Vadovas po Lietuvos Didžiąją Kunigaikštystę, sudarytojos Aistė Paliušytė ir Irena Vaišvilaitė, Vilnius, Lietuvos kultūros tyrimų institutas, 2012
Manelis Eugenijus, Račis Antanas, Lietuvos istorija: enciklopedinis žinynas, II tomas (L-Ž), Vilnius, Mokslo ir enciklopedijų leidybos centras, 2016
