Em 14 de janeiro de 1882, um grupo de homens de Boston se reuniu para formar o clube. O clube está na lista da USGA dos primeiros 100 clubes da América. O clube original estava focado em equitação e outras atividades ao ar livre; o campo de golfe não foi construído até 1893. Durante vários anos houve conflitos entre golfistas e outros membros do clube sobre o uso do solo; de fato, o campo de golfe original sobrepôs-se à pista de corrida pré-existente.
O campo de golfe em si cresceu em várias etapas, e assim não é o resultado de nenhum arquiteto. Os primeiros seis buracos foram dispostos por três membros do clube em março de 1893, e no ano seguinte o escocês, Willie Campbell, foi trazido como profissional do clube. Ele supervisionou a expansão para nove buracos naquele verão, e para 18 buracos completos até 1899, após alguma aquisição de terrenos. Por volta de 1902, a bola de golfe Haskell tornou-se amplamente utilizada, o que exigiu um maior alongamento do campo. Após uma aquisição de terreno adicional, dois membros do clube desenharam três novos buracos que abriram em 1908. Rees Jones renovou ainda mais o campo em preparação para o Open dos Estados Unidos de 1988.
Em 1894 o Country Club foi um dos cinco clubes fundadores da Associação de Golfe dos Estados Unidos. O objetivo original era patrocinar um incontestável campeonato nacional de amadores, que foi realizado pela primeira vez em 1895. O primeiro U.S. Open (quase um pensamento posterior) foi realizado no dia seguinte. O primeiro campeonato USGA realizado no clube foi o U.S. Women’s Amateur.
Em 1896 o clube contratou o profissional escocês Alex Campbell, que iria servir como o profissional principal de 1896-1916. Campbell foi em grande parte responsável pela evolução do caddie Francis Ouimet para um jogador de calibre de campeão.
O Open dos EUA de 1913 foi realizado no The Country Club. Os grandes favoritos foram as lendas inglesas Harry Vardon (vencedor do U.S. Open em 1900; quatro vezes vencedor do British Open) e Ted Ray (atual campeão do British Open). Após 72 buracos, a dupla se viu empatada com o amador Francis Ouimet, de 20 anos – que havia crescido do outro lado da rua e era um ex-craque do clube – forçando um playoff de 18 buracos no dia seguinte. Numa perturbação chocante, Ouimet derrotou os dois golfistas profissionais em frente a uma grande galeria, e as histórias de jornal resultantes capturaram a imaginação do público americano. O número de golfistas no país triplicou pelo menos nos dez anos seguintes, com um aumento correspondente nos campos de golfe (incluindo muitos campos públicos, abrindo o jogo a um segmento maior da população). As inaugurações americanas de 1963 e 1988 também foram realizadas no The Country Club, os 50º e 75º aniversários da vitória do Ouimet. No entanto, o U.S. Open 2013, marcando o 100º aniversário da improvável vitória do Ouimet, foi disputado no Merion Golf Club, perto de Filadélfia. Em vez disso, o Country Club recebeu o U.S. Amateur.
A história do triunfo de Francis Ouimet no US Open de 1913 foi comercializada pelo livro de Mark Frost de 2002, “The Greatest Game Ever Played”. Coincidentemente, autor, Mark Frost partilha o mesmo apelido do antigo presidente do “The Country Club” de 1976, Thomas B. Frost.
O clube sediou a Ryder Cup em 1999. Este jogo intenso explodiu em controvérsia após uma competição – um putt de 45 pés no 17º green por Justin Leonard (o mesmo green em que Ouimet efetivamente conquistou sua vitória), enquanto os outros jogadores americanos invadiram o green em comemoração antes que José María Olazábal tivesse uma chance de tentar seu próprio difícil putt. Olazábal foi forçado a recuperar seu foco depois que a ordem foi restaurada, e perdeu o putt.
O Country Club tem sido considerado há muito tempo o melhor campo em Massachusetts e já sediou um recorde de 10 Campeonatos Amadores do Estado de Massachusetts.