Le 14 janvier 1882, un groupe d’hommes de Boston se réunit pour former le club. Le club figure sur la liste des 100 premiers clubs américains de l’USGA. Le club d’origine était axé sur l’équitation et d’autres activités de plein air ; le terrain de golf n’a été construit qu’en 1893. Pendant plusieurs années, des conflits ont éclaté entre les golfeurs et les autres membres du club au sujet de l’utilisation du terrain ; en fait, le terrain de golf d’origine chevauchait la piste de course préexistante.
Le terrain de golf lui-même s’est développé en plusieurs étapes, et n’est donc pas le résultat d’un seul architecte. Les six premiers trous ont été tracés par trois membres du club en mars 1893, et l’année suivante, l’Écossais Willie Campbell a été engagé comme professionnel du club. L’année suivante, l’Écossais Willie Campbell a été engagé comme professionnel du club. Il a supervisé l’expansion du terrain, qui est passé à neuf trous cet été-là, puis à 18 trous en 1899, après l’acquisition de terrains. Vers 1902, l’utilisation de la balle de golf Haskell s’est généralisée, ce qui a nécessité un nouvel allongement du parcours. Après un nouvel achat de terrain, deux membres du club ont conçu trois nouveaux trous qui ont été inaugurés en 1908. Rees Jones a encore rénové le parcours en vue de l’U.S. Open de 1988.
En 1894, le Country Club était l’un des cinq clubs fondateurs de la United States Golf Association. L’objectif initial était de parrainer un championnat amateur national incontesté, qui a été organisé pour la première fois en 1895. Le premier U.S. Open (presque une réflexion après coup) a eu lieu le jour suivant. Le premier championnat de l’USGA organisé au club a été le U.S. Women’s Amateur de 1902.
En 1896, le club a embauché le professionnel écossais Alex Campbell, qui allait devenir le professionnel en chef de 1896 à 1916. Campbell a été en grande partie responsable du développement du caddie Francis Ouimet en un joueur de calibre de championnat.
L’Open des États-Unis de 1913 a eu lieu au Country Club. Les grands favoris étaient les légendes anglaises Harry Vardon (vainqueur de l’U.S. Open 1900 ; quatre fois vainqueur du British Open) et Ted Ray (champion en titre du British Open). Après 72 trous, les deux hommes se retrouvent à égalité avec un jeune amateur de 20 ans, Francis Ouimet, qui a grandi en face du parcours et a été caddy au club, ce qui les oblige à disputer un match de barrage de 18 trous le lendemain. Dans un bouleversement choquant, Ouimet a battu les deux golfeurs professionnels devant une grande galerie, et les articles de journaux qui ont suivi ont captivé l’imagination du public américain. Le nombre de golfeurs dans le pays a au moins triplé au cours des dix années suivantes, avec une augmentation correspondante du nombre de terrains de golf (y compris de nombreux terrains publics, ouvrant le jeu à une plus grande partie de la population). Les U.S. Opens de 1963 et 1988 se sont également déroulés au Country Club, les 50e et 75e anniversaires de la victoire de Ouimet. Toutefois, l’U.S. Open de 2013, qui marquait le 100e anniversaire de la victoire improbable de Ouimet, a été disputé au Merion Golf Club, près de Philadelphie. Le Country Club a plutôt accueilli l’Amateur américain de 2013.
L’histoire du triomphe de Francis Ouimet à l’US Open de 1913 a été commercialisée par le livre de Mark Frost en 2002, » The Greatest Game Ever Played « . Par coïncidence, l’auteur, Mark Frost partage le même nom de famille que l’ancien président du « Country Club » en 1976, Thomas B. Frost.
Le club a accueilli la Ryder Cup en 1999. Ce match intense a explosé en controverse à la suite d’un putt de 45 pieds sur le 17e green par Justin Leonard (le même green où Ouimet a effectivement remporté sa victoire), les autres joueurs américains ayant pris d’assaut le green en célébration avant que José María Olazábal ait eu la chance de tenter son propre putt difficile. Olazábal a été obligé de se reconcentrer après le retour à l’ordre, et a manqué le putt.
Le Country Club a longtemps été considéré comme le meilleur parcours du Massachusetts et a accueilli un record de 10 championnats amateurs de l’État du Massachusetts.