För 1971 flyttade han till Nashville, Tennessee, för att satsa på en musikalisk karriär och skrev kontrakt med ABC Records 1976. Conlee hamnade för första gången på listorna 1978 med ”Rose Colored Glasses”, en femte hit på Billboard Hot Country Singles (numera Hot Country Songs), samt titelspåret till hans debutalbum från 1978. Detta album skulle ge hans två första nummer ett-hits ”Lady Lay Down” och ”Backside of Thirty.”
Efter ABC:s fusion med MCA Records släppte han 1979 sitt album Forever på MCA. Singlarna ”Before My Time” och ”Baby, You’re Something” nådde nr 2 respektive nr 7. En andra MCA-utgåva, Friday Night Blues, gav ytterligare två nummer två-hits i form av titelspåret och ”She Can’t Say That Anymore”, följt av nummer tolv ”What I Had with You”. 1981 års With Love stod för ytterligare en andraplats med ”Miss Emily’s Picture”. John framförde sin låt live på Hee Haw den 3 januari 1981 och fick bra recensioner. År 2005 donerade Conlee sitt framförande av ”Rose Colored Glasses” vid en konsert på Wildhorse Saloon i Nashville till förmån för Lymphatic Research Foundation (New York). Conlee sjöng sin signaturlåt och auktionerade ut ett par ”rose colored glasses” vars intäkter gick till LRF.
Conlee har varit medlem i Grand Ole Opry sedan 1981.
Conlees album Busted från 1982 inleddes med en cover av Harlan Howard-låten med samma namn; albumets sista singel, ”Common Man”, återvände honom till toppen av listorna 1983. Ytterligare tre nummer ett-hits kom från In My Eyes: ”I’m Only in It for the Love”, skriven tillsammans med Kix Brooks, titelspåret och ”As Long as I’m Rockin’ with You”. MCA släppte ett Greatest Hits-album senare 1983.
Blue Highway 1984, hans sista studioalbum för MCA, gav en andraplats med ”Years After You”. Ett år senare producerade ett andra Greatest Hits-paket hans sista MCA-singel i nummer 5 ”Old School” innan han flyttade till Columbia Records. Conlees första Columbia-skiva, Harmony, gav honom sin sista topphit med ”Got My Heart Set on You” 1986. Ett andra och sista album för Columbia, American Faces, tog honom in på topp 10 för sista gången med ”Domestic Life”, följt av hans sista topp 40 på plats 11, ”Mama’s Rockin’ Chair”. Därefter flyttade Conlee till 16th Avenue Records och släppte Fellow Travelers.