La 14 ianuarie 1882, un grup de bărbați din Boston s-a întâlnit pentru a forma clubul. Clubul se află pe lista USGA a primelor 100 de cluburi din America. Clubul inițial era axat pe echitație și alte activități în aer liber; terenul de golf a fost construit abia în 1893. Timp de mai mulți ani au existat conflicte între jucătorii de golf și ceilalți membri ai clubului cu privire la utilizarea terenului; de fapt, terenul de golf inițial s-a suprapus cu pista de curse preexistentă.
Circuitul de golf în sine s-a dezvoltat în mai multe etape, astfel că nu este rezultatul unui singur arhitect. Primele șase găuri au fost trasate de trei membri ai clubului în martie 1893, iar în anul următor scoțianul Willie Campbell a fost adus ca profesionist al clubului. El a supravegheat extinderea la nouă găuri în vara aceluiași an și la 18 găuri în 1899, în urma achiziționării unor terenuri. În jurul anului 1902, mingea de golf Haskell a început să fie folosită pe scară largă, ceea ce a necesitat o nouă prelungire a terenului. După o achiziție suplimentară de teren, doi membri ai clubului au proiectat trei noi găuri care au fost deschise în 1908. Rees Jones a renovat în continuare terenul în vederea pregătirii pentru U.S. Open din 1988.
În 1894, The Country Club a fost unul dintre cele cinci cluburi fondatoare care au înființat Asociația de Golf a Statelor Unite. Scopul inițial a fost acela de a sponsoriza un campionat național de amatori de necontestat, care a avut loc pentru prima dată în 1895. Primul U.S. Open (aproape o idee ulterioară) a avut loc a doua zi. Primul campionat USGA desfășurat la club a fost U.S. Women’s Amateur din 1902.
În 1896, clubul l-a angajat pe profesionistul scoțian Alex Campbell, care avea să fie profesionistul principal între 1896-1916. Campbell a fost în mare parte responsabil pentru dezvoltarea caddie-ului Francis Ouimet într-un jucător de calibru de campionat.
La U.S. Open din 1913 a avut loc la The Country Club. Marii favoriți erau legendele engleze Harry Vardon (câștigător al U.S. Open din 1900; de patru ori câștigător al Openului Britanic) și Ted Ray (campionul în exercițiu al Openului Britanic). După 72 de găuri, cei doi s-au aflat la egalitate cu amatorul Francis Ouimet, în vârstă de 20 de ani – care crescuse peste drum de terenul de golf și fusese caddy la club – forțând un meci de baraj de 18 găuri în ziua următoare. Într-o surpriză șocantă, Ouimet i-a învins categoric pe cei doi jucători de golf profesioniști în fața unei mari galerii, iar poveștile apărute în presă au captat imaginația publicului american. Numărul jucătorilor de golf din țară s-a triplat cel puțin în următorii zece ani, cu o creștere corespunzătoare a numărului de terenuri de golf (inclusiv multe terenuri publice, deschizând jocul unui segment mai mare al populației). La Country Club au avut loc, de asemenea, edițiile din 1963 și 1988 ale U.S. Open, cu ocazia celei de-a 50-a și a 75-a aniversări a victoriei lui Ouimet. Cu toate acestea, Openul Statelor Unite din 2013, care a marcat cea de-a 100-a aniversare a victoriei improbabile a lui Ouimet, s-a disputat la Merion Golf Club, lângă Philadelphia. Country Club a găzduit în schimb U.S. Amateur 2013.
Povestea triumfului lui Francis Ouimet la US Open din 1913 a fost comercializată de cartea lui Mark Frost din 2002, ” The Greatest Game Ever Played”. Întâmplător, autorul, Mark Frost are același nume de familie cu fostul președinte din 1976 al „The Country Club”, Thomas B. Frost.
Clubul a găzduit Ryder Cup în 1999. Această partidă intensă a explodat în controverse în urma unei lovituri de 45 de picioare, care a întors competiția, pe verdele de la locul 17, executată de Justin Leonard (același verde pe care Ouimet și-a adjudecat efectiv victoria), ceilalți jucători americani luând cu asalt verdele în semn de sărbătoare, înainte ca José María Olazábal să aibă șansa de a încerca propria sa lovitură dificilă. Olazábal a fost nevoit să-și recapete concentrarea după ce ordinea a fost restabilită, și a ratat putt-ul.
The Country Club a fost mult timp considerat cel mai bun teren din Massachusetts și a găzduit un număr record de 10 campionate de amatori ale statului Massachusetts.
.