In 1971 verhuisde hij naar Nashville, Tennessee, op zoek naar een muzikale carrière, en in 1976 tekende hij bij ABC Records. Conlee kwam in 1978 voor het eerst in de hitlijsten met “Rose Colored Glasses”, een nummer 5 hit in de Billboard Hot Country Singles (nu Hot Country Songs) charts, en was ook het titelnummer van zijn debuutalbum uit 1978. Dit album zou zijn eerste twee nummer 1 hits opleveren in “Lady Lay Down” en “Backside of Thirty.”
Na ABC’s fusie met MCA Records, bracht hij zijn album Forever uit in 1979 op MCA. De singles, “Before My Time” en “Baby, You’re Something,” bereikten respectievelijk nr. 2 en nr. 7. Een tweede MCA release, Friday Night Blues, produceerde nog twee No. 2 hits in het titelnummer en “She Can’t Say That Anymore,” gevolgd door de No. 12 “What I Had With You.” 1981’s With Love was goed voor nog een No. 2 in “Miss Emily’s Picture.” John bracht zijn lied live op Hee Haw op 3 januari 1981 met goede kritieken. In 2005 schonk Conlee zijn uitvoering van “Rose Colored Glasses” tijdens een concert in de Wildhorse Saloon in Nashville ten bate van de Lymphatic Research Foundation (New York). Conlee zong zijn signature song en veilde een “rose colored glasses” waarvan de opbrengst naar LRF ging.
Conlee is sinds 1981 lid van de Grand Ole Opry.
Conlee’s album Busted uit 1982 werd ingeleid door een cover van het gelijknamige nummer van Harlan Howard; de laatste single van het album, “Common Man,” bracht hem in 1983 weer terug aan de top van de hitlijsten. In My Eyes leverde nog drie nummer één hits op: “I’m Only in it for the love”, geschreven in samenwerking met Kix Brooks; het titelnummer; en “As Long as I’m Rockin’ with You”. MCA bracht later in 1983 een Greatest Hits album uit.
Blue Highway in 1984, zijn laatste studioalbum voor MCA, leverde een nr. 2 op in “Years After You.” Een jaar later, een tweede Greatest Hits pakket produceerde zijn laatste MCA single in de No. 5 “Old School” voordat hij naar Columbia Records verhuisde. Conlee’s eerste Columbia release, Harmony, gaf hem zijn laatste nummer 1 hit in “Got My Heart Set on You” in 1986. Een tweede en laatste album voor Columbia, American Faces, bracht hem voor de laatste keer in de Top 10 met “Domestic Life”, gevolgd door zijn laatste Top 40 op nummer 11, “Mama’s Rockin’ Chair”. Van daaruit verhuisde Conlee naar 16th Avenue Records, waar hij Fellow Travelers uitbracht.