Den 14 januari 1882 träffades en grupp män från Boston för att bilda klubben. Klubben finns med på USGA:s lista över de 100 första klubbarna i Amerika. Den ursprungliga klubben var inriktad på ridning och andra utomhusaktiviteter; golfbanan byggdes inte förrän 1893. Under flera år förekom det konflikter mellan golfspelare och andra klubbmedlemmar om markanvändning; i själva verket överlappade den ursprungliga golfbanan den redan existerande kapplöpningsbanan.
Golfbanan i sig växte fram i flera etapper, och är därför inte resultatet av någon enskild arkitekt. De första sex hålen anlades av tre klubbmedlemmar i mars 1893, och året därpå anställdes skotten Willie Campbell som klubbproffs. Han såg till att klubben utökades till nio hål samma sommar och till hela 18 hål 1899 efter att ha förvärvat mark. Omkring 1902 började Haskell-golfbollen användas allmänt, vilket gjorde det nödvändigt att förlänga banan ytterligare. Efter ytterligare ett markköp ritade två klubbmedlemmar tre nya hål som öppnades 1908. Rees Jones renoverade banan ytterligare inför U.S. Open 1988.
1894 var The Country Club en av de fem charterklubbar som grundade United States Golf Association. Det ursprungliga syftet var att sponsra ett obestridligt nationellt amatörmästerskap, vilket hölls första gången 1895. Det första U.S. Open (nästan en efterhandskonstruktion) hölls dagen därpå. Det första USGA-mästerskapet som hölls på klubben var 1902 U.S. Women’s Amateur.
År 1896 anställde klubben den skotska proffsen Alex Campbell, som kom att fungera som chefsproffs 1896-1916. Campbell var till stor del ansvarig för att caddie Francis Ouimet utvecklades till en spelare av mästerskapskaliber.
1913 hölls U.S. Open på The Country Club. De stora favoriterna var de engelska legenderna Harry Vardon (vinnare av U.S. Open 1900, fyra gånger vinnare av British Open) och Ted Ray (regerande mästare i British Open). Efter 72 hål stod de två lika med den 20-årige amatören Francis Ouimet – som hade vuxit upp tvärs över gatan från banan och som tidigare var caddie på klubben – och tvingade fram ett 18-håls playoff dagen därpå. I en chockerande omvälvning besegrade Ouimet de två professionella golfarna inför ett stort galleri, och de tidningsartiklar som följde fångade den amerikanska allmänhetens fantasi. Antalet golfspelare i landet tredubblades minst under de följande tio åren, med en motsvarande ökning av antalet golfbanor (inklusive många offentliga banor, vilket öppnade upp spelet för en större del av befolkningen). U.S. Opens 1963 och 1988 hölls också på The Country Club, 50- och 75-årsminnena av Ouimet-segern. U.S. Open 2013, som markerade 100-årsdagen av Ouimets osannolika seger, avgjordes dock på Merion Golf Club nära Philadelphia. Country Club var istället värd för 2013 års U.S. Amateur.
Historien om Francis Ouimets triumf i US Open 1913 kommersialiserades av Mark Frosts bok från 2002, ” The Greatest Game Ever Played”. Av en slump har författaren Mark Frost samma efternamn som den tidigare ordföranden för ”The Country Club” 1976, Thomas B. Frost.
Klubben var värd för Ryder Cup 1999. Denna intensiva match exploderade i kontroverser efter en tävlingsvändande 45-fotsputt på den 17:e green av Justin Leonard (samma green där Ouimet effektivt avgjorde sin seger), då de andra amerikanska spelarna stormade green för att fira innan José María Olazábal hade en chans att försöka sig på sin egen svåra putt. Olazábal tvingades återfå sitt fokus efter att ordningen återställts och missade putten.
The Country Club har länge ansetts vara den bästa banan i Massachusetts och har varit värd för ett rekordstort 10 Massachusetts State Amateur Championships.