El 14 de enero de 1882, un grupo de hombres de Boston se reunió para formar el club. El club figura en la lista de la USGA de los 100 primeros clubes de América. El club original se centraba en la equitación y otras actividades al aire libre; el campo de golf no se construyó hasta 1893. Durante varios años hubo conflictos entre los golfistas y otros miembros del club por el uso del terreno; de hecho, el campo de golf original se solapaba con el hipódromo preexistente.
El campo de golf propiamente dicho creció en varias etapas, por lo que no es el resultado de ningún arquitecto. Los primeros seis hoyos fueron trazados por tres miembros del club en marzo de 1893, y al año siguiente el escocés Willie Campbell fue contratado como profesional del club. Él supervisó la ampliación a nueve hoyos ese verano, y a 18 hoyos completos en 1899 tras la adquisición de algunos terrenos. Alrededor de 1902 se generalizó el uso de la bola de golf Haskell, lo que obligó a alargar aún más el campo. Tras la compra de otros terrenos, dos miembros del club diseñaron tres nuevos hoyos que se inauguraron en 1908. Rees Jones renovó el campo para prepararlo para el Abierto de Estados Unidos de 1988.
En 1894 el Country Club fue uno de los cinco clubes fundadores de la Asociación de Golf de Estados Unidos. El propósito original era patrocinar un campeonato nacional amateur indiscutible, que se celebró por primera vez en 1895. El primer U.S. Open (casi una ocurrencia) se celebró al día siguiente. El primer campeonato de la USGA celebrado en el club fue el U.S. Women’s Amateur de 1902.
En 1896 el Club contrató al profesional escocés Alex Campbell, que pasaría a ser el profesional principal entre 1896 y 1916. Campbell fue en gran parte responsable del desarrollo del caddie Francis Ouimet hasta convertirlo en un jugador de categoría de campeonato.
El Abierto de Estados Unidos de 1913 se celebró en el Country Club. Los grandes favoritos eran las leyendas inglesas Harry Vardon (ganador del U.S. Open de 1900; cuatro veces ganador del British Open) y Ted Ray (actual campeón del British Open). Después de 72 hoyos, ambos se encontraron empatados con el aficionado de 20 años Francis Ouimet -que había crecido al otro lado de la calle del campo y había sido caddie en el club- forzando un desempate de 18 hoyos al día siguiente. Ouimet derrotó a los dos golfistas profesionales frente a una gran galería, y las historias de los periódicos capturaron la imaginación del público estadounidense. El número de golfistas en el país se triplicó al menos en los diez años siguientes, con el correspondiente aumento de los campos de golf (incluidos muchos campos públicos, lo que abrió el juego a un mayor segmento de la población). Los Abiertos de Estados Unidos de 1963 y 1988 también se celebraron en The Country Club, en el 50º y 75º aniversario de la victoria de Ouimet. Sin embargo, el U.S. Open de 2013, que marcaba el centenario de la improbable victoria de Ouimet, se disputó en el Merion Golf Club, cerca de Filadelfia. El Country Club acogió en cambio el U.S. Amateur de 2013.
La historia del triunfo de Francis Ouimet en el US Open de 1913 fue comercializada por el libro de Mark Frost de 2002, » The Greatest Game Ever Played». Casualmente, el autor, Mark Frost, comparte el mismo apellido que el antiguo presidente de «The Country Club» en 1976, Thomas B. Frost.
El club acogió la Ryder Cup en 1999. Este intenso partido estalló en polémica tras un putt de 45 pies en el green del hoyo 17 por parte de Justin Leonard (el mismo green en el que Ouimet consiguió su victoria), ya que los demás jugadores estadounidenses irrumpieron en el green para celebrarlo antes de que José María Olazábal tuviera la oportunidad de intentar su propio y difícil putt. Olazábal se vio obligado a recuperar la concentración después de que se restableciera el orden, y falló el putt.
El Country Club ha sido considerado durante mucho tiempo el mejor campo de Massachusetts y ha albergado un récord de 10 campeonatos amateurs del Estado de Massachusetts.