Dal 1971, si trasferì a Nashville, Tennessee, per intraprendere una carriera musicale, firmando per la ABC Records nel 1976. Conlee ha raggiunto per la prima volta le classifiche nel 1978 con “Rose Colored Glasses”, un successo n. 5 nella classifica Billboard Hot Country Singles (ora Hot Country Songs), così come la title track del suo album di debutto del 1978. Questo album produrrà i suoi primi due numeri uno in “Lady Lay Down” e “Backside of Thirty.”
In seguito alla fusione della ABC con la MCA Records, pubblicò il suo album del 1979 Forever su MCA. I suoi singoli, “Before My Time” e “Baby, You’re Something”, raggiunsero rispettivamente il n. 2 e il n. 7. Una seconda uscita per la MCA, Friday Night Blues, produsse altri due successi al n. 2 con la title track e “She Can’t Say That Anymore”, seguita dal n. 12 di “What I Had with You”. With Love del 1981 ha prodotto un altro numero 2 con “Miss Emily’s Picture”. John eseguì la sua canzone dal vivo su Hee Haw il 3 gennaio 1981 con ottime recensioni. Nel 2005, Conlee donò la sua performance di “Rose Colored Glasses” in un concerto al Wildhorse Saloon di Nashville a beneficio della Lymphatic Research Foundation (New York). Conlee ha cantato la sua canzone caratteristica e ha messo all’asta un paio di “rose colored glasses” il cui ricavato è andato alla LRF.
Conlee è stato membro del Grand Ole Opry dal 1981.
L’album Busted di Conlee del 1982 è stato aperto da una cover dell’omonima canzone di Harlan Howard; l’ultimo singolo dell’album, “Common Man”, lo ha riportato in cima alle classifiche nel 1983. Altri tre successi numero uno vennero da In My Eyes: “I’m Only in It for the Love”, scritta insieme a Kix Brooks, la title track e “As Long as I’m Rockin’ with You”. La MCA pubblicò un album Greatest Hits più tardi nel 1983.
Blue Highway nel 1984, il suo ultimo album in studio per la MCA, produsse un No. 2 in “Years After You.” Un anno dopo, un secondo pacchetto Greatest Hits produsse il suo ultimo singolo per la MCA al numero 5 “Old School” prima di passare alla Columbia Records. Il primo album di Conlee per la Columbia, Harmony, gli diede il suo ultimo numero uno in “Got My Heart Set on You” nel 1986. Un secondo e ultimo album per la Columbia, American Faces, lo portò nella Top 10 per l’ultima volta con “Domestic Life”, seguito dalla sua ultima Top 40 al n. 11, “Mama’s Rockin’ Chair”. Da lì, Conlee passò alla 16th Avenue Records, pubblicando Fellow Travelers.