1971-ben a Tennessee állambeli Nashville-be költözött zenei karrierje érdekében, 1976-ban szerződött az ABC Records-hoz. Conlee 1978-ban szerepelt először a Billboard Hot Country Singles (ma Hot Country Songs) slágerlistájának 5. helyén a “Rose Colored Glasses” című dallal, valamint 1978-as debütáló albumának címadó dalával. Ez az album hozta meg első két listavezető slágerét a “Lady Lay Down” és a “Backside of Thirty.”
Az ABC és az MCA Records egyesülését követően 1979-ben az MCA-nál adta ki Forever című albumát. A kislemezdalai, a “Before My Time” és a “Baby, You’re Something” a 2., illetve a 7. helyig jutottak. Egy második MCA kiadvány, a Friday Night Blues két további 2. helyezett slágert hozott a címadó dal és a “She Can’t Say That Anymore”, majd a 12. helyezett “What I Had with You” következett. Az 1981-es With Love újabb 2. helyezést ért el a “Miss Emily’s Picture” című dallal. John 1981. január 3-án élőben adta elő a dalt a Hee Haw műsorában, és nagyszerű kritikákat kapott. 2005-ben Conlee a nashville-i Wildhorse Saloonban tartott koncerten előadott “Rose Colored Glasses” című dalát a New York-i Lymphatic Research Foundation javára adományozta. Conlee elénekelte jellegzetes dalát, és elárverezett egy pár “rózsaszínű szemüveget”, a bevételt pedig az LRF kapta.
Conlee 1981 óta a Grand Ole Opry tagja.
Conlee 1982-es Busted című albumát az azonos című Harlan Howard-dal feldolgozása vezette fel; az album utolsó kislemeze, a “Common Man” 1983-ban visszatért a slágerlisták élére. Az In My Eyes-ról további három listavezető sláger született: az “I’m Only in It for the Love”, amelyet Kix Brooks-szal közösen írtak; a címadó dal; és az “As Long as I’m Rockin’ with You”. Az MCA később, 1983-ban egy Greatest Hits albumot adott ki.
A Blue Highway 1984-ben, az MCA utolsó stúdióalbuma, egy második helyezést hozott a “Years After You”-val. Egy évvel később, egy második Greatest Hits csomaggal az utolsó MCA kislemeze az 5. helyezett “Old School” volt, mielőtt a Columbia Recordshoz költözött. Conlee első Columbia kiadványa, a Harmony 1986-ban a “Got My Heart Set on You” volt az utolsó number one slágere. A Columbia második és egyben utolsó albuma, az American Faces utoljára került be a Top 10-be a “Domestic Life” című dallal, majd az utolsó Top 40-es slágere, a 11. helyezett “Mama’s Rockin’ Chair” következett. Innen Conlee a 16th Avenue Recordshoz ment át, ahol kiadta a Fellow Travelers-t.