1882. január 14-én bostoni férfiak egy csoportja találkozott, hogy megalapítsa a klubot. A klub szerepel az USGA által összeállított, Amerika első 100 klubjának listáján. Az eredeti klub a lovaglásra és más szabadtéri tevékenységekre összpontosított; a golfpálya csak 1893-ban épült meg. Néhány évig konfliktusok voltak a golfozók és a többi klubtag között a földhasználat miatt; valójában az eredeti golfpálya átfedésben volt a már korábban létező versenypályával.
A golfpálya maga több szakaszban nőtt ki, így nem egyetlen építész munkájának eredménye. Az első hat lyukat három klubtag fektette le 1893 márciusában, a következő évben pedig a skót Willie Campbell lett a klub profija. Ő felügyelte, hogy a pálya még azon a nyáron kilenc lyukúvá, majd 1899-re 18 lyukúvá bővüljön, miután némi földvásárlást követően a pálya 18 lyukúvá vált. 1902 körül a Haskell golflabda széles körben elterjedt, ami szükségessé tette a pálya további meghosszabbítását. Egy újabb földvásárlás után két klubtag három új lyukat tervezett, amelyek 1908-ban nyíltak meg. Rees Jones az 1988-as U.S. Openre készülve tovább újította a pályát.
1894-ben a The Country Club egyike volt annak az öt alapító klubnak, amely megalapította az Egyesült Államok Golf Szövetségét. Az eredeti cél egy vitathatatlan nemzeti amatőr bajnokság szponzorálása volt, amelyet először 1895-ben rendeztek meg. Az első U.S. Opent (szinte utólag) egy nappal később rendezték meg. Az első USGA-bajnokság, amelyet a klubban rendeztek, az 1902-es U.S. Women’s Amateur volt.
1896-ban a klub felvette a skót Alex Campbellt, aki a későbbiekben 1896-1916 között vezető profi volt. Campbell nagyban hozzájárult ahhoz, hogy a caddie Francis Ouimet bajnoki kaliberű játékossá fejlődött.
Az 1913-as U.S. Open-t a Country Clubban rendezték meg. A nagy favoritok az angol legendák, Harry Vardon (1900-as U.S. Open-győztes; négyszeres British Open-győztes) és Ted Ray (regnáló British Open-bajnok) voltak. A páros 72 lyuk után döntetlenre állt a 20 éves amatőr Francis Ouimet-vel – aki a pályával szemben nőtt fel, és korábban a klub caddy-je volt -, így másnap 18 lyukú rájátszásra kényszerültek. Megdöbbentő meglepetésre Ouimet a két profi golfozót a nagyszámú közönség előtt simán legyőzte, és az erről szóló újsághírek megragadták az amerikai közvélemény fantáziáját. A golfozók száma az országban a következő tíz évben legalább megháromszorozódott, és ennek megfelelően nőtt a golfpályák száma is (köztük számos állami pálya, megnyitva a játékot a lakosság szélesebb rétegei előtt). Az 1963-as és 1988-as U.S. Opent is a Country Clubban rendezték, az Ouimet győzelmének 50. és 75. évfordulóján. A 2013-as U.S. Opent azonban, amely Ouimet valószínűtlen győzelmének 100. évfordulóját ünnepelte, a Philadelphia melletti Merion Golf Clubban rendezték meg. Ehelyett a Country Club adott otthont a 2013-as U.S. Amateurnek.
A Francis Ouimet 1913-as US Openen aratott diadalának történetét Mark Frost 2002-ben megjelent ” The Greatest Game Ever Played” című könyve tette kereskedelmi forgalomba. Véletlenül a szerző, Mark Frost vezetékneve megegyezik a “The Country Club” korábbi, 1976-os elnökének, Thomas B. Frostnak a vezetéknevével.
A klub adott otthont a Ryder Kupának 1999-ben. Ez az intenzív mérkőzés Justin Leonardnak a 17. green-en (ugyanazon a green-en, ahol Ouimet gyakorlatilag megszerezte a győzelmet) végrehajtott, a versenyt megfordító 45 lábas puttját követően robbant ki a vita, mivel a többi amerikai játékos ünnepelve megrohamozta a green-t, mielőtt José María Olazábalnak lehetősége lett volna megkísérelni a saját nehéz puttját. Olazábal a rend helyreállítása után kénytelen volt visszanyerni a figyelmét, és elhibázta a puttot.
A Country Clubot régóta Massachusetts legjobb pályájának tartják, és rekordszámú, 10 Massachusetts állami amatőr bajnokságnak adott otthont.