W dniu 14 stycznia 1882 r. grupa mężczyzn z Bostonu spotkała się, aby utworzyć klub. Klub jest wymieniony na liście 100 pierwszych klubów w Ameryce sporządzonej przez USGA. Pierwotny klub skupiał się na jeździe konnej i innych zajęciach na świeżym powietrzu; pole golfowe zostało zbudowane dopiero w 1893 roku. Przez kilka lat były konflikty między golfistami i innymi członkami klubu o wykorzystanie terenu; w rzeczywistości pierwotne pole golfowe pokrywało się z istniejącym wcześniej torem wyścigowym.
Samo pole golfowe rosło w kilku etapach, a więc nie jest wynikiem pracy jednego architekta. Pierwsze sześć dołków zostało ułożone przez trzech członków klubu w marcu 1893 roku, a w następnym roku Szkot, Willie Campbell, został sprowadzony jako profesjonalista klubu. On nadzorował ekspansję do dziewięciu dołków tego lata, a do pełnego 18 dołków przez 1899 po niektórych nabycia gruntów. Około 1902 roku piłka golfowa Haskell stała się powszechnie stosowana, co spowodowało konieczność dalszego wydłużenia pola. Po dodatkowym zakupie ziemi, dwóch członków klubu zaprojektowało trzy nowe dołki, które zostały otwarte w 1908 roku. Rees Jones odnowił pole dalej w ramach przygotowań do U.S. Open.
W 1894 roku The Country Club był jednym z pięciu klubów czarterowych, które założyły United States Golf Association. Pierwotnym celem było sponsorowanie bezdyskusyjnych krajowych mistrzostw amatorów, które po raz pierwszy odbyły się w 1895 roku. Pierwszy turniej U.S. Open (niemalże przemyślany) odbył się następnego dnia. Pierwszym mistrzostwem USGA, które odbyło się w klubie, było U.S. Women’s Amateur 1902.
W 1896 roku klub zatrudnił szkockiego profesjonalistę Alexa Campbella, który miał służyć jako główny profesjonalista w latach 1896-1916. Campbell był w dużej mierze odpowiedzialny za rozwój caddie Francisa Ouimeta w gracza kalibru mistrzowskiego.
W 1913 roku w The Country Club odbył się turniej U.S. Open. Głównymi faworytami były angielskie legendy Harry Vardon (zwycięzca U.S. Open 1900; czterokrotny zwycięzca British Open) i Ted Ray (panujący mistrz British Open). Po 72 dołkach para ta zremisowała z 20-letnim amatorem Francisem Ouimetem, który dorastał naprzeciwko pola golfowego i był byłym caddiem w klubie, co wymusiło rozegranie 18-dołkowego meczu następnego dnia. W szokującym zdenerwowaniu, Ouimet solidnie pokonał dwóch profesjonalnych golfistów przed dużą galerią, a wynikające z tego historie prasowe zdobyły wyobraźnię amerykańskiej opinii publicznej. Liczba golfistów w kraju co najmniej potroiła się w ciągu kolejnych dziesięciu lat, z odpowiednim wzrostem pól golfowych (w tym wiele pól publicznych, otwierając grę dla większego segmentu populacji). W 1963 i 1988 roku U.S. Opens odbyły się również w The Country Club, w 50. i 75. rocznicę zwycięstwa Ouimeta. Jednakże, 2013 U.S. Open, upamiętniający setną rocznicę nieprawdopodobnego zwycięstwa Ouimeta, został rozegrany w Merion Golf Club w pobliżu Filadelfii. Country Club zamiast tego gościł 2013 U.S. Amateur.
Historia triumfu Francisa Ouimeta w 1913 US Open została skomercjalizowana przez książkę Marka Frosta z 2002 roku, „The Greatest Game Ever Played”. Przypadkowo, autor, Mark Frost dzieli to samo nazwisko, co były prezes „The Country Club” z 1976 roku, Thomas B. Frost.
Klub był gospodarzem Ryder Cup w 1999 roku. Ten intensywny mecz wybuchł w kontrowersjach po wykonaniu przez Justina Leonarda 45-stopowego putta na 17. greenie (tym samym, na którym Ouimet skutecznie przesądził o swoim zwycięstwie), gdy pozostali amerykańscy gracze szturmowali green w ramach świętowania, zanim José María Olazábal miał szansę spróbować swojego trudnego putta. Olazábal był zmuszony do odzyskania koncentracji po przywróceniu porządku i nie trafił putta.
The Country Club od dawna jest uważany za najlepsze pole w Massachusetts i gościł rekordową liczbę 10 Mistrzostw Amatorów Stanu Massachusetts.