I 1971 flyttede han til Nashville, Tennessee, i jagten på en musikalsk karriere og skrev kontrakt med ABC Records i 1976. Conlee kom for første gang på hitlisten i 1978 med “Rose Colored Glasses”, et nr. 5-hit på Billboard Hot Country Singles (nu Hot Country Songs) hitlisten, samt titelnummeret til hans debutalbum fra 1978. Dette album skulle senere producere hans to første nummer et-hits med “Lady Lay Down” og “Backside of Thirty”.”
Efter ABC’s fusion med MCA Records udgav han i 1979 albummet Forever på MCA. Singlerne, “Before My Time” og “Baby, You’re Something”, nåede henholdsvis nr. 2 og nr. 7. En anden MCA-udgivelse, Friday Night Blues, producerede yderligere to nr. 2-hits med titelnummeret og “She Can’t Say That Anymore”, efterfulgt af nr. 12 “What I Had with You”. 1981’s With Love stod for endnu en nr. 2 med “Miss Emily’s Picture”. John opførte sin sang live på Hee Haw den 3. januar 1981 med gode anmeldelser. I 2005 donerede Conlee sin fremførelse af “Rose Colored Glasses” ved en koncert på Wildhorse Saloon i Nashville til fordel for Lymphatic Research Foundation (New York). Conlee sang sin signatursang og auktionerede et par “rose colored glasses”, hvor overskuddet gik til LRF.
Conlee har været medlem af Grand Ole Opry siden 1981.
Conlee’s album Busted fra 1982 blev indledt af et cover af Harlan Howard-sangen af samme navn; albummets sidste single, “Common Man”, bragte ham tilbage til toppen af hitlisterne i 1983. In My Eyes gav yderligere tre nummer et-hits: “I’m Only in It for the Love”, skrevet sammen med Kix Brooks, titelnummeret og “As Long as I’m Rockin’ with You”. MCA udgav et Greatest Hits-album senere i 1983.
Blue Highway i 1984, hans sidste studiealbum for MCA, producerede en nr. 2 med “Years After You”. Et år senere producerede en anden Greatest Hits-pakke hans sidste MCA-single i nr. 5 “Old School”, inden han skiftede til Columbia Records. Conlee’s første Columbia-udgivelse, Harmony, gav ham sit sidste nummer et-hit med “Got My Heart Set on You” i 1986. Et andet og sidste album for Columbia, American Faces, bragte ham for sidste gang på Top 10 med “Domestic Life”, efterfulgt af hans sidste Top 40-hit som nr. 11 med “Mama’s Rockin’ Chair”. Herefter skiftede Conlee til 16th Avenue Records og udgav Fellow Travelers.