>Até 1971, ele se mudou para Nashville, Tennessee, em busca de uma carreira musical, assinando para a ABC Records em 1976. Conlee fez a primeira parada em 1978 com “Rose Colored Glasses”, um sucesso nº 5 nas paradas da Billboard Hot Country Singles (agora Hot Country Songs), assim como a faixa título do seu álbum de estreia em 1978. Este álbum continuaria para produzir seus dois primeiros sucessos número um em “Lady Lay Down” e “Backside of Thirty”
Following ABC’s merger with MCA Records, ele lançou seu álbum Forever de 1979 na MCA. Os seus singles, “Before My Time” e “Baby, You’re Something”, respectivamente, chegaram ao nº 2 e nº 7. Um segundo lançamento da MCA, Friday Night Blues, produziu mais dois êxitos nº 2 na faixa título e “She Can’t Say That Anymore”, seguido do nº 12 “What I Had with You”. O “With Love With Love”, de 1981, foi mais um Nº 2 em “Miss Emily’s Picture.” John interpretou a sua canção ao vivo no Hee Haw a 3 de Janeiro de 1981 com grandes críticas. Em 2005, Conlee doou sua performance de “Rose Colored Glasses” em um concerto no Wildhorse Saloon em Nashville para beneficiar a Lymphatic Research Foundation (New York). Conlee cantou sua canção de assinatura e leiloou um par de “rose colored glasses” com os lucros indo para LRF.
Conlee é membro do Grand Ole Opry desde 1981.
O álbum Busted, de 1982, de Conlee, foi liderado por um cover da canção de mesmo nome de Harlan Howard; o último single do álbum, “Common Man”, o devolveu ao topo das paradas em 1983. Mais três sucessos número um vieram de In My Eyes: “I’m Only in It for the Love”, cowritten com Kix Brooks; a faixa título; e “As Long as I’m Rockin’ with You”. MCA lançou um álbum Greatest Hits mais tarde em 1983.
Blue Highway em 1984, seu último álbum de estúdio para MCA, produziu um No. 2 em “Years After You”. Um ano mais tarde, um segundo pacote de Greatest Hits produziu seu último single MCA no Nº 5 de “Old School” antes de se mudar para a Columbia Records. O primeiro lançamento de Conlee na Columbia, Harmony, deu-lhe o seu último sucesso número um em “Got My Heart Set on You”, em 1986. Um segundo e último álbum da Columbia, American Faces, levou-o ao Top 10 pela última vez com “Domestic Life”, seguido do seu último Top 40 no nº 11, “Mama’s Rockin’ Chair”. A partir daí, Conlee mudou-se para a 16th Avenue Records, lançando Fellow Travelers.