1882年1月14日、ボストンの男性たちが集まり、クラブが結成された。 このクラブは、USGAが発表したアメリカの最初の100クラブにリストアップされている。 当初のクラブは乗馬などのアウトドア活動が中心で、ゴルフコースができたのは1893年になってから。 実際、最初のゴルフコースは、既存の競馬場と重なっていました。
ゴルフコース自体はいくつかの段階を経て成長したので、特定の建築家の作品というわけではありません。 最初の 6 つのホールは、1893 年 3 月に 3 人のクラブ会員によって作られ、翌年にはスコットランド人のウィリー・キャンベルがクラブプロとして迎え入れられた。 彼は、その夏に9ホールに拡張し、1899年には土地の買収により18ホールに拡張しました。 1902年頃、ハスケル・ゴルフ・ボールが広く使われるようになり、コースのさらなる延長が必要になった。 さらに土地を購入し、2人のクラブ会員が3つの新しいホールを設計し、1908年にオープンしました。
1894年、ザ・カントリー・クラブは、米国ゴルフ協会を設立した5つのチャータークラブの1つでした。 当初の目的は、議論の余地のない全米アマチュア選手権を主催することで、1895年に初めて開催されました。 翌日には、第1回全米オープン（ほぼ後日談）が開催された。 クラブで開催された最初のUSGA選手権は、1902年の米国女子アマチュアでした。
1896年、クラブはスコットランド人プロのアレックス・キャンベルを雇い、彼は1896年から1916年までヘッドプロとして活躍することになります。 キャンベルは、キャディーのフランシス・オイメをチャンピオン級のプレーヤーに成長させることに大きく貢献した。
1913年の全米オープンは、カントリークラブで開催された。 優勝候補は、ハリー・バードン（1900年全米オープン優勝、全英オープン4回優勝）とテッド・レイ（全英オープン優勝）でした。 72ホールを終えた時点で、2人は20歳のアマチュア、フランシス・ウイメットと同組になった。彼はコースの向かい側で育ち、かつてこのクラブでキャディをしていた。 翌日、18ホールのプレーオフが行われ、大観衆の前でウイメットは2人のプロゴルファーを見事に破り、その模様は新聞で報道され、アメリカ国民の注目を浴びた。 その後10年間でゴルフ人口は3倍以上に増え、それに伴いゴルフ場も増加した（パブリックコースも多く、より多くの人々にゴルフを開放することになった）。 1963年と1988年の全米オープンは、ウイメの優勝から50周年と75周年の節目に、ザ・カントリークラブでも開催された。 しかし、ウイメのあり得ない優勝から100周年を迎える2013年の全米オープンは、フィラデルフィア近郊のメリオン・ゴルフクラブで争われた。
1913年の全米オープンでのフランシス・ウイメットの勝利の物語は、マーク・フロストの2002年の著書「The Greatest Game Ever Played」によって商品化されました。 奇しくも、著者のマーク・フロストは、1976年に「カントリークラブ」の元会長だったトーマス・B・フロストと同じ苗字です。
クラブは1999年にライダーカップを主催しました。 この激しい試合は、ジャスティン・レナードが17番グリーンで45フィートのパットを決め（ウイメが勝利を決めたのと同じグリーン）、他のアメリカの選手たちがホセ・マリア・オラサバルが難しいパットを決める前にグリーンに突入して祝福したことから爆発的に議論を呼んだ。
このカントリークラブは、長い間マサチューセッツ州で最高のコースと考えられており、過去10回のマサチューセッツ州アマチュア選手権を開催している。