14. ledna 1882 se sešla skupina mužů z Bostonu a založila klub. Klub je uveden na seznamu prvních 100 klubů v Americe, který sestavila USGA. Původní klub byl zaměřen na jízdu na koni a další outdoorové aktivity; golfové hřiště bylo vybudováno až v roce 1893. Po několik let docházelo ke konfliktům mezi golfisty a ostatními členy klubu ohledně využití pozemků; původní golfové hřiště se totiž překrývalo s již existující dostihovou dráhou.
Golfové hřiště samotné vyrostlo v několika etapách, a není tak výsledkem práce jednoho architekta. Prvních šest jamek vytyčili tři členové klubu v březnu 1893 a v následujícím roce byl do klubu přiveden jako profesionál Skot Willie Campbell. Ten v létě dohlížel na rozšíření hřiště na devět jamek a po získání pozemků v roce 1899 na celých 18 jamek. Kolem roku 1902 se začal hojně používat golfový míček Haskell, což si vyžádalo další prodloužení hřiště. Po dalším nákupu pozemků navrhli dva členové klubu tři nové jamky, které byly otevřeny v roce 1908. Rees Jones hřiště dále renovoval v rámci příprav na U.S. Open 1988.
V roce 1894 byl The Country Club jedním z pěti zakládajících klubů, které založily golfovou asociaci Spojených států. Původním účelem bylo sponzorovat nesporné národní amatérské mistrovství, které se poprvé konalo v roce 1895. Následující den se konalo první otevřené mistrovství USA (téměř dodatečně). Prvním mistrovstvím USGA pořádaným v klubu byl v roce 1902 U.S. Women’s Amateur.
V roce 1896 klub najal skotského profesionála Alexe Campbella, který zde v letech 1896-1916 působil jako hlavní profesionál. Campbell byl z velké části zodpovědný za rozvoj caddieho Francise Ouimeta v hráče mistrovského kalibru.
V roce 1913 se v The Country Clubu konalo US Open. Největšími favority byly anglické legendy Harry Vardon (vítěz U.S. Open 1900; čtyřnásobný vítěz British Open) a Ted Ray (úřadující vítěz British Open). Po 72 jamkách se tato dvojice ocitla ve shodě s dvacetiletým amatérem Francisem Ouimetem, který vyrůstal naproti hřišti a v minulosti v klubu působil jako caddy, a vynutila si tak následující den osmnáctijamkové play-off. Ouimet v šokujícím souboji před početnou galerií oba profesionální golfisty hladce porazil a následné novinové články zaujaly americkou veřejnost. Počet golfistů v zemi se v následujících deseti letech nejméně ztrojnásobil, čemuž odpovídal i nárůst počtu golfových hřišť (včetně mnoha veřejných, čímž se hra otevřela větší části populace). V letech 1963 a 1988 se v The Country Clubu konaly také U.S. Open, 50. a 75. výročí Ouimetova vítězství. V roce 2013 se však U.S. Open u příležitosti 100. výročí Ouimetova nepravděpodobného vítězství konalo v Merion Golf Clubu nedaleko Filadelfie. Místo toho se v Country Clubu konal v roce 2013 U.S. Amateur.
Příběh triumfu Francise Ouimeta na US Open 1913 byl zkomercializován knihou Marka Frosta z roku 2002 “ The Greatest Game Ever Played“. Shodou okolností má autor, Mark Frost, stejné příjmení jako bývalý prezident „The Country Club“ z roku 1976, Thomas B. Frost.
Klub hostil Ryder Cup v roce 1999. Toto napínavé utkání propuklo v kontroverzi po soutěžním 45stopovém puttu Justina Leonarda na 17. greenu (na stejném greenu, kde Ouimet fakticky rozhodl o svém vítězství), protože ostatní američtí hráči vtrhli na green při oslavách dříve, než se José María Olazábal mohl pokusit o svůj vlastní obtížný putt. Olazábal se musel po obnovení pořádku znovu soustředit a putt netrefil.
Country Club byl dlouho považován za nejlepší hřiště v Massachusetts a hostil rekordních 10 amatérských mistrovství státu Massachusetts.