1675. a. augustis moodustati Rootsi kuninga Karl XI käsuga Kanepi kogudus ja kihelkond. Juba aasta varem püstitati esimene, ristikujuline puust kirikuhoone. 1804-1808 valmis selle kõrvale arhitekt Fr. Siegeli kavandatud uus maakividest pühakoda, milline pühitseti 1810 sarnaselt eelmisega Ristija Johannese nimeliseks. Klassitsistlikus stiilis kirikul paikneb torn keskel, selle tippu ehib Eestis ainulaadne Aotäht - Kristuse sümbol. Tollase pastori J. P. Rothi teenete hulka kuulub veel Eestis esimesena priinimede panek talurahvale, kihelkonna- ja tütarlastekooli asutamine ning maarahva nädalalehe väljaandmine. 1877. a. remondi ajal ehitati kirikule juurde käärkamber, sisse rõdud (sealtpeale loetakse hoonet mahutavaks 1000 inimest) ja stukist altarisein (A. Baueri altarimaal pärineb 1857-st) ning viidi torni uus kell. Praegune orel valmistati W. Saueri firmas ning seati üles 1902.