V roce 1971 se přestěhoval do Nashvillu ve státě Tennessee za hudební kariérou a v roce 1976 podepsal smlouvu s nahrávací společností ABC Records. Conlee se poprvé dostal do hitparády v roce 1978 s písní „Rose Colored Glasses“, která se umístila na 5. místě v žebříčku Billboard Hot Country Singles (nyní Hot Country Songs), a také s titulní skladbou svého debutového alba z roku 1978. Z tohoto alba pak vzešly jeho první dva hity číslo jedna, a to „Lady Lay Down“ a „Backside of Thirty“.
Po fúzi ABC s MCA Records vydal v roce 1979 album Forever u MCA. Singly z něj, „Before My Time“ a „Baby, You’re Something“, se dostaly na druhé, respektive sedmé místo. Druhé vydání u MCA, Friday Night Blues, přineslo další dva hity na 2. místě v podobě titulní skladby a „She Can’t Say That Anymore“, po nichž následovala skladba „What I Had with You“ na 12. místě. Na albu With Love z roku 1981 se na druhém místě objevila skladba „Miss Emily’s Picture“. John svou píseň předvedl živě v pořadu Hee Haw 3. ledna 1981 a sklidil skvělé ohlasy. V roce 2005 věnoval Conlee své vystoupení s písní „Rose Colored Glasses“ na koncertě ve Wildhorse Saloon v Nashvillu ve prospěch nadace Lymphatic Research Foundation (New York). Conlee zazpíval svou charakteristickou píseň a vydražil pár „růžových brýlí“, jehož výtěžek byl věnován LRF.
Conlee byl od roku 1981 členem Grand Ole Opry.
Conleeho albu Busted z roku 1982 vévodila coververze stejnojmenné písně Harlana Howarda; poslední singl z alba, „Common Man“, ho v roce 1983 vrátil na vrchol hitparády. Z alba In My Eyes vzešly další tři hity na prvním místě: „I’m Only in It for the Love“, kterou napsal společně s Kixem Brooksem, titulní skladba a „As Long as I’m Rockin‘ with You“. Společnost MCA později v roce 1983 vydala album Greatest Hits.
Blue Highway z roku 1984, jeho poslední studiové album pro MCA, přineslo dvojku v podobě „Years After You“. O rok později druhý balíček Greatest Hits přinesl jeho poslední singl pro MCA v podobě čísla 5 „Old School“, než přešel ke Columbia Records. Conleeho první album Harmony, které vyšlo u Columbie, mu v roce 1986 přineslo jeho poslední hit číslo jedna „Got My Heart Set on You“. Druhé a poslední album pro společnost Columbia, American Faces, ho naposledy vyneslo do Top 10 s písní „Domestic Life“, po níž následovala jeho poslední skladba v Top 40 na 11. místě, „Mama’s Rockin‘ Chair“. Odtud Conlee přešel k 16th Avenue Records, kde vydal album Fellow Travelers.
.