Do 1971 roku przeniósł się do Nashville, Tennessee, w pogoni za karierą muzyczną, podpisując się z ABC Records w 1976 roku. Conlee po raz pierwszy na liście przebojów w 1978 roku z „Rose Colored Glasses”, hit nr 5 na liście przebojów Billboard Hot Country Singles (obecnie Hot Country Songs), a także tytułowy utwór do jego debiutanckiego albumu 1978. Ten album będzie dalej produkować swoje pierwsze dwa numery jeden hitów w „Lady Lay Down” i „Backside of Thirty.”
Po ABC fuzji z MCA Records, wydał swój 1979 album Forever na MCA. Jego single, „Before My Time” i „Baby, You’re Something,” odpowiednio osiągnęła nr 2 i nr 7. Drugie wydawnictwo MCA, Friday Night Blues, przyniosło dwa kolejne hity nr 2 w postaci tytułowego utworu i „She Can’t Say That Anymore”, a następnie nr 12 „What I Had with You”. With Love z 1981 roku przyniosło kolejny nr 2 w postaci utworu „Miss Emily’s Picture”. John wykonał swoją piosenkę na żywo w programie Hee Haw 3 stycznia 1981 roku, zbierając świetne recenzje. W 2005 roku Conlee ofiarował swoje wykonanie „Rose Colored Glasses” na koncercie w Wildhorse Saloon w Nashville na rzecz Lymphatic Research Foundation (Nowy Jork). Conlee zaśpiewał swoją popisową piosenkę i wystawił na aukcję parę „różowych okularów”, z których dochód został przeznaczony na LRF.
Conlee jest członkiem Grand Ole Opry od 1981 roku.
Conlee w 1982 roku wydał album Busted, którego liderem był cover piosenki Harlana Howarda o tej samej nazwie; ostatni singiel z albumu, „Common Man”, przywrócił go na szczyt list przebojów w 1983 roku. Trzy kolejne hity numer jeden pochodziły z In My Eyes: „I’m Only in It for the Love”, napisany wspólnie z Kixem Brooksem, utwór tytułowy oraz „As Long as I’m Rockin’ with You”. MCA wydała album Greatest Hits później w 1983.
Blue Highway w 1984 roku, jego ostatni album studyjny dla MCA, wyprodukował nr 2 w „Years After You.” Rok później, drugi pakiet Greatest Hits wyprodukował swój ostatni singiel MCA w nr 5 „Old School”, zanim przeniósł się do Columbia Records. Pierwszy album Conlee’ego dla Columbii, Harmony, dał mu ostatni hit numer jeden w postaci „Got My Heart Set on You” w 1986 roku. Drugi i ostatni album dla Columbii, American Faces, po raz ostatni wprowadził go do Top 10 z utworem „Domestic Life”, a następnie „Mama’s Rockin’ Chair” po raz ostatni trafił do Top 40 z numerem 11. Stamtąd, Conlee przeniósł się do 16th Avenue Records, wydając Fellow Travelers.
.