Il 14 gennaio 1882, un gruppo di uomini di Boston si riunì per formare il club. Il club è elencato nella lista dell’USGA dei primi 100 club in America. Il club originale era incentrato sull’equitazione e altre attività all’aperto; il campo da golf non fu costruito fino al 1893. Per diversi anni ci furono conflitti tra i golfisti e gli altri membri del club per l’uso del terreno; infatti il campo da golf originale si sovrapponeva al preesistente ippodromo.
Il campo da golf stesso è cresciuto in diverse fasi, e quindi non è il risultato di un unico architetto. Le prime sei buche furono tracciate da tre membri del club nel marzo 1893, e l’anno successivo lo scozzese Willie Campbell fu assunto come professionista del club. Egli supervisionò l’espansione a nove buche quell’estate, e a 18 buche complete nel 1899 in seguito all’acquisizione di alcuni terreni. Intorno al 1902 la pallina da golf Haskell divenne ampiamente utilizzata, rendendo necessario un ulteriore allungamento del campo. Dopo un ulteriore acquisto di terreno, due membri del club progettarono tre nuove buche che aprirono nel 1908. Rees Jones rinnovò ulteriormente il campo in preparazione degli U.S. Open del 1988.
Nel 1894 il Country Club fu uno dei cinque club fondatori della United States Golf Association. Lo scopo originale era quello di sponsorizzare un campionato nazionale amatoriale indiscusso, che si tenne per la prima volta nel 1895. Il primo U.S. Open (quasi un ripensamento) si tenne il giorno seguente. Il primo campionato USGA tenuto al club fu l’U.S. Women’s Amateur del 1902.
Nel 1896 il club assunse il professionista scozzese Alex Campbell, che sarebbe diventato il capo professionista dal 1896 al 1916. Campbell fu in gran parte responsabile dello sviluppo del caddie Francis Ouimet in un giocatore di calibro da campionato.
L’US Open del 1913 si tenne al Country Club. I grandi favoriti erano le leggende inglesi Harry Vardon (vincitore del 1900 U.S. Open; quattro volte vincitore del British Open) e Ted Ray (campione in carica del British Open). Dopo 72 buche la coppia si trovò in parità con il dilettante ventenne Francis Ouimet – che era cresciuto dall’altra parte della strada rispetto al campo ed era un ex caddie del club – forzando uno spareggio di 18 buche il giorno successivo. In un turbamento scioccante, Ouimet sconfisse sonoramente i due golfisti professionisti di fronte a una grande galleria, e le storie che ne derivarono sui giornali catturarono l’immaginazione del pubblico americano. Il numero di golfisti nel paese è almeno triplicato nei dieci anni successivi, con un corrispondente aumento dei campi da golf (compresi molti campi pubblici, aprendo il gioco a un segmento più ampio della popolazione). Anche gli U.S. Opens del 1963 e del 1988 si sono tenuti al Country Club, in occasione del 50° e 75° anniversario della vittoria di Ouimet. Tuttavia, il 2013 U.S. Open, che segna il 100° anniversario dell’improbabile vittoria di Ouimet, è stato disputato al Merion Golf Club vicino a Philadelphia. Il Country Club ha invece ospitato il 2013 U.S. Amateur.
La storia del trionfo di Francis Ouimet agli US Open del 1913 è stata commercializzata dal libro di Mark Frost del 2002, “The Greatest Game Ever Played”. Per coincidenza, l’autore, Mark Frost condivide lo stesso cognome dell’ex presidente del “The Country Club” del 1976, Thomas B. Frost.
Il club ha ospitato la Ryder Cup nel 1999. Questa intensa partita è esplosa in polemica dopo un putt di 45 piedi sul 17° green da parte di Justin Leonard (lo stesso green dove Ouimet ha effettivamente ottenuto la sua vittoria), quando gli altri giocatori americani hanno preso d’assalto il green per festeggiare prima che José María Olazábal avesse la possibilità di tentare il suo difficile putt. Olazábal è stato costretto a ritrovare la concentrazione dopo che l’ordine è stato ripristinato, e ha mancato il putt.
Il Country Club è stato a lungo considerato il miglior campo del Massachusetts e ha ospitato un record di 10 Massachusetts State Amateur Championships.