Op 14 januari 1882 kwam een groep mannen uit Boston bijeen om de club te vormen. De club is opgenomen in de USGA-lijst van de eerste 100 clubs in Amerika. De oorspronkelijke club was gericht op paardrijden en andere buitenactiviteiten; de golfbaan werd pas in 1893 aangelegd. Gedurende verschillende jaren waren er conflicten tussen golfers en andere clubleden over het gebruik van het land; in feite overlapte de oorspronkelijke golfbaan met de reeds bestaande renbaan.
De golfbaan zelf groeide in verschillende fasen, en is dus niet het resultaat van één enkele architect. De eerste zes holes werden aangelegd door drie clubleden in maart 1893, en het jaar daarop werd de Schot Willie Campbell aangetrokken als clubprofessional. Hij zag toe op de uitbreiding tot negen holes die zomer, en tot een volledige 18 holes in 1899 na enige landaankoop. Rond 1902 werd de Haskell golfbal algemeen gebruikt, wat een verdere verlenging van de baan noodzakelijk maakte. Na de aankoop van extra land ontwierpen twee clubleden drie nieuwe holes die in 1908 werden geopend. Rees Jones renoveerde de baan verder ter voorbereiding op de 1988 U.S. Open.
In 1894 was The Country Club een van de vijf charterclubs die de United States Golf Association oprichtten. Het oorspronkelijke doel was het sponsoren van een onbetwist nationaal amateurkampioenschap, dat voor het eerst werd gehouden in 1895. Het eerste U.S. Open (bijna een nakomertje) werd de volgende dag gehouden. Het eerste USGA kampioenschap dat op de club werd gehouden was het US Women’s Amateur van 1902.
In 1896 nam de Club de Schotse professional Alex Campbell in dienst, die van 1896-1916 als hoofdprof zou gaan fungeren. Campbell was voor een groot deel verantwoordelijk voor de ontwikkeling van caddie Francis Ouimet tot een speler van kampioenskaliber.
De 1913 U.S. Open werd gehouden op The Country Club. De grote favorieten waren de Engelse legendes Harry Vardon (winnaar van de U.S. Open in 1900; viervoudig winnaar van de British Open) en Ted Ray (regerend British Open kampioen). Na 72 holes stond het duo gelijk met de 20-jarige amateur Francis Ouimet – die aan de overkant van de baan was opgegroeid en vroeger caddie was bij de club – waardoor de volgende dag een 18-hole playoff moest worden gespeeld. In een schokkende ommezwaai versloeg Ouimet de twee professionele golfers voor een grote tribune, en de resulterende krantenverhalen spraken tot de verbeelding van het Amerikaanse publiek. Het aantal golfers in het land verdrievoudigde minstens in de daaropvolgende tien jaar, met een overeenkomstige toename van het aantal golfbanen (waaronder veel openbare banen, waardoor het spel voor een groter deel van de bevolking toegankelijk werd). De 1963 en 1988 U.S. Opens werden ook gehouden in The Country Club, de 50ste en 75ste verjaardag van de overwinning van Ouimet. De 2013 U.S. Open, die de 100ste verjaardag van de onwaarschijnlijke overwinning van Ouimet markeerde, werd echter betwist op Merion Golf Club nabij Philadelphia. De Country Club organiseerde in plaats daarvan de 2013 U.S. Amateur.
Het verhaal van Francis Ouimet’s triomf op de 1913 US Open werd gecommercialiseerd door Mark Frost’s 2002 boek, ” The Greatest Game Ever Played”. Toevallig heeft auteur Mark Frost dezelfde achternaam als de voormalige president van “The Country Club”, Thomas B. Frost.
De club was gastheer van de Ryder Cup in 1999. Deze intense wedstrijd ontplofte in controverse na een wedstrijd-draaiende 45-foot putt op de 17e green door Justin Leonard (dezelfde green waar Ouimet effectief zijn overwinning bekroonde), toen de andere Amerikaanse spelers de green bestormden in viering voordat José María Olazábal de kans had om zijn eigen moeilijke putt te proberen. Olazábal moest zich herpakken nadat de orde was hersteld, en miste de putt.
De Country Club is lang beschouwd als de beste baan in Massachusetts en is gastheer geweest van een record van 10 Massachusetts State Amateur Championships.