Tammikuun 14. päivänä 1882 joukko bostonilaisia miehiä kokoontui perustamaan klubin. Klubi on mainittu USGA:n luettelossa Amerikan sadasta ensimmäisestä klubista. Alkuperäinen klubi keskittyi ratsastukseen ja muihin ulkoilma-aktiviteetteihin; golfkenttä rakennettiin vasta vuonna 1893. Useiden vuosien ajan golfareiden ja muiden klubin jäsenten välillä oli ristiriitoja maankäytöstä; itse asiassa alkuperäinen golfkenttä oli päällekkäin jo olemassa olleen kilparadan kanssa.
Itse golfkenttä kasvoi useissa vaiheissa, joten se ei ole minkään yksittäisen arkkitehdin aikaansaannos. Kolme klubin jäsentä suunnitteli ensimmäiset kuusi reikää maaliskuussa 1893, ja seuraavana vuonna klubin ammattilaiseksi otettiin skotlantilainen Willie Campbell. Hänen johdollaan golfkenttä laajennettiin yhdeksän reikään samana kesänä ja 18 reikään vuoteen 1899 mennessä maanhankinnan jälkeen. Noin vuonna 1902 Haskellin golfpallo yleistyi, mikä edellytti kentän pidentämistä entisestään. Lisämaan hankkimisen jälkeen kaksi klubin jäsentä suunnitteli kolme uutta reikää, jotka avattiin vuonna 1908. Rees Jones kunnosti kenttää entisestään valmistautuessaan vuoden 1988 U.S. Openiin.
Vuonna 1894 The Country Club oli yksi viidestä perusklubista, jotka perustivat United States Golf Associationin. Alkuperäinen tarkoitus oli sponsoroida kiistaton kansallinen amatöörimestaruuskilpailu, joka järjestettiin ensimmäisen kerran vuonna 1895. Ensimmäinen U.S. Open (melkein jälkikäteen) järjestettiin seuraavana päivänä. Ensimmäinen klubilla järjestetty USGA:n mestaruuskilpailu oli vuoden 1902 U.S. Women’s Amateur.
Vuonna 1896 klubi palkkasi skotlantilaisen ammattilaisen Alex Campbellin, joka toimi klubin pääammattilaisena vuosina 1896-1916. Campbell oli suurelta osin vastuussa caddie Francis Ouimetin kehittymisestä mestaruusluokan pelaajaksi.
The Country Clubilla järjestettiin vuoden 1913 U.S. Open. Suurina suosikkeina olivat englantilaislegendat Harry Vardon (U.S. Openin voittaja 1900; nelinkertainen British Openin voittaja) ja Ted Ray (hallitseva British Openin mestari). 72 reiän jälkeen kaksikko oli tasapisteissä 20-vuotiaan amatöörin Francis Ouimetin kanssa – joka oli kasvanut vastapäätä kenttää ja oli klubin entinen caddie – ja joutui pelaamaan 18 reiän pudotuspelin seuraavana päivänä. Ouimet voitti järkyttävällä tavalla kaksi ammattilaisgolfaria suuren yleisön edessä, ja siitä seuranneet lehtijutut herättivät amerikkalaisen yleisön mielikuvituksen. Golfareiden määrä maassa vähintään kolminkertaistui seuraavien kymmenen vuoden aikana, ja vastaavasti golfkenttien määrä kasvoi (mukaan lukien monet julkiset kentät, jotka avasivat pelin laajemmalle väestöryhmälle). The Country Clubilla järjestettiin myös vuosien 1963 ja 1988 U.S. Openit, jotka olivat Ouimetin voiton 50. ja 75. vuosipäivät. Vuoden 2013 U.S. Open, joka oli Ouimetin epätodennäköisen voiton 100-vuotisjuhla, pelattiin kuitenkin Merion Golf Clubilla Philadelphian lähellä. Country Club isännöi sen sijaan vuoden 2013 U.S. Amateuria.
Tarina Francis Ouimetin voitosta vuoden 1913 US Openissa kaupallistettiin Mark Frostin vuonna 2002 julkaistussa kirjassa ” The Greatest Game Ever Played”. Sattumalta kirjailija Mark Frostilla on sama sukunimi kuin ”The Country Clubin” entisellä presidentillä 1976, Thomas B. Frostilla.
Klubi isännöi Ryder Cupia vuonna 1999. Tämä intensiivinen ottelu räjähti kiistaksi Justin Leonardin 17. viheriöllä (samalla viheriöllä, jolla Ouimet käytännössä ratkaisi voittonsa) tekemän, kilpailua kääntävän 45-metrisen putin jälkeen, kun muut amerikkalaispelaajat ryntäsivät viheriölle juhlimaan, ennen kuin José María Olazábal ehti kokeilla omaa vaikeaa puttiaan. Olazábal joutui palauttamaan keskittymisensä takaisin järjestyksen palautumisen jälkeen ja epäonnistui putissa.
Country Clubia on pitkään pidetty Massachusettsin parhaana kenttänä, ja se on isännöinyt ennätykselliset 10 Massachusettsin osavaltion amatöörimestaruutta.