Nuo 1778 m. Svisločių valdęs Vincentas Tiškevičius 1804 m. savo lėšomis įsteigė Gardino gubernijos gimnaziją, kurioje 1825 m. dėstė Jonas Čečiotas, veikė filaretų, filomatų draugijos. Klasicizmo stiliaus pastatas statytas 1821–1828 m. Pastatą projektavo architektas Jonas Šantyras, baigęs architektūrą Vilniaus universitete ir projektavęs pastatus Joniškėlyje.
Tarp gimnazijos mokinių yra Konstantinas Kalinauskas, Juozapas Kovalevskis, Stanislovas Batys Gorskis, Napoleonas Orda, Romualdas Traugutas bei Juozapas Ignotas Kraševskis. Po 1834 m. neteko gubernijos gimnazijos statuso, 1845 m. tapo bajorų mokykla, 1860–65 m. progimnazija. 1876–1921 m. veikė mokytojų seminarija.
