În 1971, el s-a mutat în Nashville, Tennessee, în căutarea unei cariere muzicale, semnând cu ABC Records în 1976. Conlee a intrat în topuri pentru prima dată în 1978 cu piesa „Rose Colored Glasses”, un hit nr. 5 în topul Billboard Hot Country Singles (acum Hot Country Songs), precum și piesa care a dat titlul albumului său de debut din 1978. Acest album avea să producă primele sale două hituri numărul unu în „Lady Lay Down” și „Backside of Thirty.”
După fuziunea ABC cu MCA Records, a lansat albumul Forever în 1979 la MCA. Single-urile sale, „Before My Time” și „Baby, You’re Something”, au ajuns pe locurile 2 și, respectiv, 7. Un al doilea album lansat de MCA, Friday Night Blues, a produs alte două hituri de pe locul 2, piesa de titlu și „She Can’t Say That Anymore”, urmate de „What I Had with You”, locul 12. With Love din 1981 a adus încă un nr. 2 cu „Miss Emily’s Picture”. John a interpretat cântecul live la Hee Haw pe 3 ianuarie 1981, cu recenzii foarte bune. În 2005, Conlee și-a donat interpretarea piesei „Rose Colored Glasses” în cadrul unui concert la Wildhorse Saloon din Nashville în beneficiul Lymphatic Research Foundation (New York). Conlee a cântat melodia sa emblematică și a scos la licitație o pereche de „ochelari de culoare trandafirie”, încasările mergând către LRF.
Conlee a fost membru al Grand Ole Opry din 1981.
Albumul lui Conlee din 1982, Busted, a fost condus de un cover al melodiei cu același nume a lui Harlan Howard; ultimul single al albumului, „Common Man”, l-a readus în fruntea topurilor în 1983. De pe albumul In My Eyes au mai apărut încă trei hituri numărul unu: „I’m Only in It for the Love”, compusă împreună cu Kix Brooks; piesa care dă titlul albumului; și „As Long as I’m Rockin’ with You”. MCA a lansat un album Greatest Hits mai târziu în 1983.
Blue Highway în 1984, ultimul său album de studio pentru MCA, a produs un nr. 2 în „Years After You”. Un an mai târziu, un al doilea pachet Greatest Hits a produs ultimul său single MCA în nr. 5, „Old School”, înainte de a se muta la Columbia Records. Primul album lansat de Conlee la Columbia, Harmony, i-a oferit ultimul său hit numărul unu, „Got My Heart Set on You”, în 1986. Un al doilea și ultimul album pentru Columbia, American Faces, l-a dus pentru ultima dată în Top 10 cu „Domestic Life”, urmat de ultimul său Top 40 pe locul 11, „Mama’s Rockin’ Chair”. De acolo, Conlee s-a mutat la 16th Avenue Records, lansând Fellow Travelers.
.