Den 14. januar 1882 mødtes en gruppe mænd fra Boston for at danne klubben. Klubben er opført på USGA’s liste over de første 100 klubber i Amerika. Den oprindelige klub var fokuseret på ridning og andre udendørs aktiviteter; golfbanen blev først anlagt i 1893. I flere år var der konflikter mellem golfspillere og andre klubmedlemmer om arealanvendelse; faktisk overlappede den oprindelige golfbane den allerede eksisterende væddeløbsbane.
Selve golfbanen voksede i flere faser, og er således ikke resultatet af en enkelt arkitekt. De første seks huller blev anlagt af tre klubmedlemmer i marts 1893, og året efter blev skotten Willie Campbell ansat som professionel i klubben. Han stod for udvidelsen til ni huller samme sommer og til hele 18 huller i 1899, efter at der var blevet købt jord. Omkring 1902 blev Haskell-golfbolden almindeligt anvendt, hvilket gjorde det nødvendigt at forlænge banen yderligere. Efter et yderligere køb af jord tegnede to klubmedlemmer tre nye huller, som åbnede i 1908. Rees Jones renoverede banen yderligere som forberedelse til U.S. Open i 1988.
I 1894 var The Country Club en af de fem charterklubber, som grundlagde United States Golf Association. Det oprindelige formål var at sponsorere et ubestridt nationalt amatørmesterskab, som blev afholdt første gang i 1895. Den første U.S. Open (næsten en eftertanke) blev afholdt den følgende dag. Det første USGA-mesterskab, der blev afholdt i klubben, var U.S. Women’s Amateur i 1902.
I 1896 ansatte klubben den skotske professionelle Alex Campbell, som skulle komme til at fungere som chefprofessionel fra 1896-1916. Campbell var i høj grad ansvarlig for udviklingen af caddie Francis Ouimet til en spiller af mesterskabskaliber.
I 1913 blev U.S. Open afholdt på The Country Club. De store favoritter var de engelske legender Harry Vardon (vinder af U.S. Open i 1900; fire gange British Open-vinder) og Ted Ray (regerende British Open-mester). Efter 72 huller stod de to lige med den 20-årige amatør Francis Ouimet – som var vokset op overfor banen og tidligere var caddie i klubben – og tvang dem til et 18-hullers playoff den næste dag. I en chokerende overraskelse besejrede Ouimet de to professionelle golfspillere på en solid måde foran et stort galleri, og de deraf følgende avishistorier fangede den amerikanske offentligheds fantasi. Antallet af golfspillere i landet blev mindst tredoblet i løbet af de følgende ti år, og der skete en tilsvarende stigning i antallet af golfbaner (herunder mange offentlige baner, hvilket åbnede spillet for en større del af befolkningen). U.S. Opens i 1963 og 1988 blev også afholdt på The Country Club, 50- og 75-årsdagen for Ouimet-sejren. U.S. Open 2013, der markerede 100-årsdagen for Ouimets usandsynlige sejr, blev dog afviklet på Merion Golf Club nær Philadelphia. Country Club var i stedet vært for U.S. Amateur 2013.
Historien om Francis Ouimets triumf ved US Open i 1913 blev markedsført af Mark Frosts bog fra 2002, ” The Greatest Game Ever Played”. Tilfældigvis har forfatteren Mark Frost det samme efternavn som den tidligere formand for “The Country Club” i 1976, Thomas B. Frost.
Klubben var vært for Ryder Cup i 1999. Denne intense kamp eksploderede i kontroverser efter et konkurrencevendt 45-fods putt på 17. green af Justin Leonard (den samme green, hvor Ouimet effektivt afgjorde sin sejr), da de andre amerikanske spillere stormede greenen i jubel, før José María Olazábal fik mulighed for at forsøge sit eget vanskelige putt. Olazábal var tvunget til at genfinde sit fokus, efter at ordenen var genoprettet, og missede putten.
The Country Club er længe blevet betragtet som den bedste bane i Massachusetts og har været vært for en rekord på 10 Massachusetts State Amateur Championships.