Am 14. Januar 1882 traf sich eine Gruppe von Männern aus Boston, um den Club zu gründen. Der Club ist in der USGA-Liste der ersten 100 Clubs in Amerika aufgeführt. Der ursprüngliche Club konzentrierte sich auf das Reiten und andere Outdoor-Aktivitäten; der Golfplatz wurde erst 1893 gebaut. Mehrere Jahre lang kam es zu Konflikten zwischen Golfern und anderen Clubmitgliedern über die Landnutzung; der ursprüngliche Golfplatz überschnitt sich mit der bereits bestehenden Rennstrecke.
Der Golfplatz selbst entstand in mehreren Etappen und ist daher nicht das Ergebnis eines einzigen Architekten. Die ersten sechs Löcher wurden im März 1893 von drei Clubmitgliedern angelegt, und im folgenden Jahr wurde der Schotte Willie Campbell als Clubprofessional eingestellt. Er überwachte die Erweiterung auf neun Löcher im selben Sommer und auf 18 Löcher im Jahr 1899, nachdem er einige Grundstücke erworben hatte. Um 1902 setzte sich der Haskell-Golfball durch, was eine weitere Verlängerung des Platzes erforderlich machte. Nach einem weiteren Landerwerb entwarfen zwei Clubmitglieder drei neue Löcher, die 1908 eröffnet wurden. Rees Jones renovierte den Platz in Vorbereitung auf die U.S. Open 1988 weiter.
Im Jahr 1894 war der Country Club einer der fünf Gründungsclubs der United States Golf Association. Ursprüngliches Ziel war es, eine unangefochtene nationale Amateurmeisterschaft zu sponsern, die erstmals 1895 ausgetragen wurde. Die ersten U.S. Open (fast ein Nachspiel) wurden am folgenden Tag abgehalten. Die erste USGA-Meisterschaft, die im Club ausgetragen wurde, war die U.S. Women’s Amateur 1902.
1896 stellte der Club den schottischen Golfprofi Alex Campbell ein, der von 1896 bis 1916 als Head Professional fungierte. Campbell war zu einem großen Teil für die Entwicklung von Caddie Francis Ouimet zu einem Meisterschaftsspieler verantwortlich.
Die U.S. Open 1913 wurden im Country Club ausgetragen. Die großen Favoriten waren die englischen Legenden Harry Vardon (Gewinner der U.S. Open 1900; viermaliger Gewinner der British Open) und Ted Ray (amtierender British Open Champion). Nach 72 Löchern lagen die beiden gleichauf mit dem 20-jährigen Amateur Francis Ouimet, der in der Nähe des Golfplatzes aufgewachsen war und früher als Caddy im Club gearbeitet hatte, und erzwangen am nächsten Tag ein 18-Loch-Playoff. Ouimet besiegte die beiden Profigolfer vor einer großen Zuschauerkulisse in einer schockierenden Niederlage, und die darauf folgenden Zeitungsberichte erregten die Aufmerksamkeit der amerikanischen Öffentlichkeit. Die Zahl der Golfer im Lande verdreifachte sich in den folgenden zehn Jahren mindestens, und die Zahl der Golfplätze nahm entsprechend zu (darunter viele öffentliche Plätze, die das Spiel für eine größere Bevölkerungsgruppe zugänglich machten). Die U.S. Open 1963 und 1988 wurden ebenfalls im Country Club ausgetragen, zum 50. und 75. Jahrestag des Ouimet-Sieges. Die U.S. Open 2013, die den 100. Jahrestag von Ouimets unwahrscheinlichem Sieg markierten, wurden jedoch im Merion Golf Club bei Philadelphia ausgetragen. Der Country Club war stattdessen Gastgeber der U.S. Amateur 2013.
Die Geschichte von Francis Ouimets Triumph bei den US Open 1913 wurde durch Mark Frosts 2002 erschienenes Buch „The Greatest Game Ever Played“ vermarktet. Der Autor Mark Frost hat zufälligerweise denselben Nachnamen wie der ehemalige Präsident des Country Club von 1976, Thomas B. Frost.
Der Club war 1999 Gastgeber des Ryder Cup. Dieses intensive Match löste eine Kontroverse aus, nachdem Justin Leonard einen 45-Fuß-Putt auf dem 17. Grün verwandelt hatte (dasselbe Grün, auf dem Ouimet seinen Sieg errang), da die anderen amerikanischen Spieler das Grün stürmten und feierten, bevor José María Olazábal die Chance hatte, seinen eigenen schwierigen Putt zu versuchen. Olazábal war gezwungen, sich wieder zu konzentrieren, nachdem die Ordnung wiederhergestellt war, und verfehlte den Putt.
Der Country Club gilt seit langem als der beste Platz in Massachusetts und hat eine Rekordzahl von 10 Massachusetts State Amateur Championships ausgerichtet.