Bereits 1971 zog er nach Nashville, Tennessee, um eine Musikkarriere zu verfolgen und unterschrieb 1976 bei ABC Records. Mit „Rose Colored Glasses“, einem Nr. 5-Hit in den Billboard Hot Country Singles (jetzt Hot Country Songs), sowie dem Titelsong seines Debütalbums von 1978, erreichte Conlee erstmals die Charts. Dieses Album brachte mit „Lady Lay Down“ und „Backside of Thirty“ seine ersten beiden Nummer-Eins-Hits hervor.
Nach der Fusion von ABC mit MCA Records veröffentlichte er 1979 sein Album Forever bei MCA. Die Singles „Before My Time“ und „Baby, You’re Something“ erreichten Platz 2 bzw. Platz 7. Eine zweite MCA-Veröffentlichung, Friday Night Blues, brachte mit dem Titeltrack und „She Can’t Say That Anymore“ zwei weitere Nr. 2-Hits hervor, gefolgt von dem Nr. 12-Hit „What I Had with You“. 1981 sorgte With Love mit „Miss Emily’s Picture“ für eine weitere Nr. 2. John führte seinen Song am 3. Januar 1981 live in der Sendung Hee Haw auf und erntete gute Kritiken. Im Jahr 2005 spendete Conlee seine Darbietung von „Rose Colored Glasses“ bei einem Konzert im Wildhorse Saloon in Nashville zugunsten der Lymphatic Research Foundation (New York). Conlee sang seinen unverkennbaren Song und versteigerte eine „Rose Colored Glasses“, deren Erlös an die LRF ging.
Conlee ist seit 1981 Mitglied der Grand Ole Opry.
Conlees Album Busted von 1982 wurde von einer Coverversion des gleichnamigen Songs von Harlan Howard angeführt; die letzte Single des Albums, „Common Man“, brachte ihn 1983 wieder an die Spitze der Charts. In My Eyes brachte drei weitere Nummer-eins-Hits hervor: „I’m Only in It for the Love“, zusammen mit Kix Brooks geschrieben, den Titelsong und „As Long as I’m Rockin‘ with You“. MCA veröffentlichte später im Jahr 1983 ein Greatest Hits Album.
Blue Highway im Jahr 1984, sein letztes Studioalbum für MCA, brachte mit „Years After You“ eine Nr. 2 hervor. Ein Jahr später brachte ein zweites Greatest Hits-Paket mit der Nr. 5 „Old School“ seine letzte MCA-Single hervor, bevor er zu Columbia Records wechselte. Conlees erste Columbia-Veröffentlichung, Harmony, bescherte ihm 1986 mit „Got My Heart Set on You“ seinen letzten Nummer-eins-Hit. Ein zweites und letztes Album für Columbia, American Faces, brachte ihn mit „Domestic Life“ zum letzten Mal in die Top 10, gefolgt von seinem letzten Top-40-Hit auf Platz 11, „Mama’s Rockin‘ Chair“. Von dort wechselte Conlee zu 16th Avenue Records und veröffentlichte Fellow Travelers.