Vuoteen 1971 mennessä hän muutti Nashvilleen, Tennesseen, tavoitellessaan musiikillista uraa, ja teki sopimuksen ABC Recordsin kanssa vuonna 1976. Conlee nousi ensimmäisen kerran listoille vuonna 1978 kappaleella ”Rose Colored Glasses”, joka oli Billboard Hot Country Singles (nyk. Hot Country Songs) -listan 5. sija, sekä vuoden 1978 debyyttialbuminsa nimikkokappaleella. Tämä albumi tuotti hänen kaksi ensimmäistä listaykköshittiään ”Lady Lay Down” ja ”Backside of Thirty.”
ABC:n fuusioiduttua MCA Recordsin kanssa hän julkaisi vuoden 1979 albuminsa Forever MCA:lla. Sen singlet ”Before My Time” ja ”Baby, You’re Something” ylsivät vastaavasti sijoille 2 ja 7. Toinen MCA-julkaisu, Friday Night Blues, tuotti vielä kaksi No. 2 -hittiä nimikappaleella ja ”She Can’t Say That Anymore”, jota seurasi No. 12 ”What I Had with You”. Vuoden 1981 With Love toi vielä toisen listakakkosen kappaleella ”Miss Emily’s Picture”. John esitti kappaleensa livenä Hee Haw -ohjelmassa 3. tammikuuta 1981 ja sai hyvät arvostelut. Vuonna 2005 Conlee lahjoitti esityksensä ”Rose Colored Glasses” Nashvillen Wildhorse Saloonin konsertissa Lymphatic Research Foundationin (New York) hyväksi. Conlee lauloi tunnuslaulunsa ja huutokauppasi ”ruusunväriset silmälasit”, joiden tuotto meni LRF:lle.
Conlee on ollut Grand Ole Opryn jäsen vuodesta 1981.
Conleen vuonna 1982 julkaistun albumin Busted johdatteli coverointi samannimisestä Harlan Howardin kappaleesta; albumin viimeinen single ”Common Man” palautti hänet takaisin listojen kärkeen vuonna 1983. In My Eyes -levyltä tuli vielä kolme listaykköshittiä: Kix Brooksin kanssa yhdessä kirjoitettu ”I’m Only in It for the Love”, nimikappale ja ”As Long as I’m Rockin’ with You”. MCA julkaisi Greatest Hits -albumin myöhemmin vuonna 1983.
Blue Highway vuonna 1984, hänen viimeinen studioalbuminsa MCA:lle, tuotti listakakkosen ”Years After You”. Vuotta myöhemmin toinen Greatest Hits -paketti tuotti hänen viimeisen MCA-singlensä nro 5:n ”Old School” ennen kuin hän siirtyi Columbia Recordsille. Conleen ensimmäinen Columbia-julkaisu, Harmony, antoi hänelle viimeisen listaykköshittinsä ”Got My Heart Set on You” vuonna 1986. Toinen ja viimeinen Columbia-albumi, American Faces, vei hänet viimeisen kerran Top 10:een kappaleella ”Domestic Life”, jota seurasi hänen viimeinen Top 40 -albuminsa numero 11, ”Mama’s Rockin’ Chair”. Siitä Conlee siirtyi 16th Avenue Recordsille ja julkaisi Fellow Travelersin.