Esimene kivist kirik ehitati Rõugesse 16. saj. mõisnik Kurseli kulul, kes andis kirikule ka maa. Kiriku ümber koondus elu, siia rajati kool, kõrts, surnuaed, apteek, kus töötas arst, kauplus jm.
Esimene õpetaja oli Cristiern Henrici (1626-1627), teine Kaspar Lessias (1633-1657).

1730. a. ehitati Põhjasõjas hävinud kiriku asemele uus, mis oli praegusest madalam võlvideta hoone, ilma koori ja käärkambrita, kuid võimsa neljakandilise torniga.

Kirik sai 1854. a. oma oreli (eelmine oli 1836.a. renditud) ja R.v. Mühleni altaripildi "Kristus ristil".
1860. a. tehti kirikuhoonele põhjalik remont. Kõrgendati seinu ja kirik kaeti peegelvõlviga.
Remonte on tehtud hiljemgi, olulisim ja põhjalikem 1924.a.

15. augustil 1730.a. pühitseti kirik neitsi Maarjale. Kirik sai ka vendade Kriisade poolt ehitatud uue, 31-registrilise oreli. Vennad Kriisad on ka ise pärit Rõuge lähedalt Kokemäe külast.

Rõuges on õpetajateks olnud kolme põlvkonna Hollmannid: Rudolf G. Hollmann (1844-1858), Friedrich A. Hollmann (1859-1873) ja Franz Hollmann (1902-1918). Friedrich Hollmann koostas ka Rõuge kihelkonnakooli plaani ning õppekava ja avas siin kooli. Esimeseks eesti soost pastoriks oli Rudolf Gottfried Kallas (1886-1901). Pastor Valter Viksi ajal (1922-1936) taastati purustatud pastoraat ja avati Vabadussõja mälestussammas.