En 1971, se trasladó a Nashville, Tennessee, en busca de una carrera musical, firmando con ABC Records en 1976. En 1978, Conlee obtuvo su primer éxito con «Rose Colored Glasses», un número 5 en la lista Billboard Hot Country Singles (ahora Hot Country Songs), así como la canción que da título a su primer álbum de 1978. Este álbum produciría sus dos primeros números uno: «Lady Lay Down» y «Backside of Thirty».
Tras la fusión de ABC con MCA Records, lanzó su álbum de 1979 Forever en MCA. Sus singles, «Before My Time» y «Baby, You’re Something», alcanzaron el nº 2 y el nº 7 respectivamente. Un segundo lanzamiento de MCA, Friday Night Blues, produjo dos éxitos más en el número 2 con la canción principal y «She Can’t Say That Anymore», seguido por el número 12 «What I Had with You». With Love, de 1981, supuso otro número 2 con «Miss Emily’s Picture». John interpretó su canción en directo en Hee Haw el 3 de enero de 1981 con grandes críticas. En 2005, Conlee donó su interpretación de «Rose Colored Glasses» en un concierto en el Wildhorse Saloon de Nashville a beneficio de la Lymphatic Research Foundation (Nueva York). Conlee cantó su canción emblemática y subastó un par de «Rose Colored Glasses» cuya recaudación se destinó a la LRF.
Conlee ha sido miembro del Grand Ole Opry desde 1981.
El álbum de 1982 de Conlee, Busted, estaba encabezado por una versión de la canción de Harlan Howard del mismo nombre; el último sencillo del álbum, «Common Man», le devolvió a la cima de las listas en 1983. De In My Eyes salieron otros tres números uno: «I’m Only in It for the Love», coescrito con Kix Brooks; la canción que da título al disco; y «As Long as I’m Rockin’ with You». MCA lanzó un álbum de Grandes Éxitos más tarde en 1983.
Blue Highway en 1984, su último álbum de estudio para MCA, produjo un número 2 en «Years After You». Un año más tarde, un segundo paquete de Grandes Éxitos produjo su último sencillo para MCA en el número 5 «Old School» antes de que se trasladara a Columbia Records. El primer lanzamiento de Conlee para Columbia, Harmony, le dio su último número uno con «Got My Heart Set on You» en 1986. Un segundo y último álbum para Columbia, American Faces, le llevó al Top 10 por última vez con «Domestic Life», seguido de su último Top 40 en el nº 11, «Mama’s Rockin’ Chair». A partir de ahí, Conlee se trasladó a 16th Avenue Records, publicando Fellow Travelers.