2015年10月31日（土）、テネシー州ナッシュビルのグランド・オール・オプリで歌うコンリー
1971年までに、音楽活動を目指してテネシー州ナッシュビルに移住、76年ABCレコードと契約した。 1978年、ビルボード・ホット・カントリー・シングル（現ホット・カントリー・ソング）チャートで5位となった「Rose Colored Glasses」で初めてチャートインし、1978年のデビューアルバムのタイトルトラックとなった。 このアルバムは、その後「レディ・レイ・ダウン」と「バックサイド・オブ・サーティ」の2曲のナンバーワン・ヒットを生み出すことになる。
ABCがMCAレコードと合併した後、彼は1979年にMCAからアルバム「フォーエバー」をリリースした。 シングル「ビフォア・マイ・タイム」は2位、「ベイビー、ユー・アー・サムシング」は7位を記録。 MCAからの2枚目のアルバム『Friday Night Blues』では、タイトル曲と “She Can’t Say That Anymore “でさらに2位のヒットを出し、”What I Had with You “で12位を獲得した。 1981年の『With Love』では、”Miss Emily’s Picture “でさらに2位を獲得した。 ジョンは1981年1月3日の『Hee Haw』でこの曲を生演奏し、大好評を博した。 2005年、コンリーはナッシュビルのワイルドホース・サルーンでのコンサートで「Rose Colored Glasses」を演奏し、リンパ研究財団（ニューヨーク）のために寄付をした。 191>
コンリーは1981年からグランド・オール・オプリーのメンバーである。1982年のアルバム『バステッド』は、ハーラン・ハワードの同名の曲のカバーで幕を開け、このアルバムの最後のシングル「コモンマン」は1983年に彼をチャート上位に返り咲かせることになった。 In My Eyes』からは、キックス・ブルックスと共作した「I’m Only in It for the Love」、タイトル曲、「As Long as I’m Rockin’ with You」の3曲がナンバーワンヒットとなった。 1983年、MCAはグレイテスト・ヒッツ・アルバムを発表。
Blue Highway 1984年、MCAでの最後のスタジオ・アルバムで、”Years After You “が2位を獲得した。 その1年後、2枚目のグレイテスト・ヒッツからMCA最後のシングルとなる5位の “Old School “が生まれ、彼はコロンビア・レコードに移籍することになる。 1986年、コロンビアからリリースされた最初のアルバム『ハーモニー』では、「Got My Heart Set on You」で最後のナンバーワン・ヒットを獲得した。 コロンビアでの2枚目のアルバム『American Faces』では、”Domestic Life “で最後のトップ10入りを果たし、続く “Mama’s Rockin’ Chair “では11位で最後のトップ40入りを果たした。 そこからコンリーは16thアヴェニュー・レコードに移籍し、『フェロー・トラベラーズ』を発表した
。