Valkoinen talo on yli 200 vuoden ajan ollut enemmän kuin vain presidenttien ja heidän perheidensä koti. Kaikkialla maailmassa se on tunnustettu presidentin, presidentin hallinnon ja Yhdysvaltojen symboliksi. Valkoinen talo on ainoa valtionpäämiehen yksityisasunto, joka on avoinna yleisölle maksutta.
Ensimmäinen presidenttimme George Washington valitsi Valkoisen talon paikan vuonna 1791. Peruskivi laskettiin vuonna 1792, ja irlantilaissyntyisen arkkitehdin James Hobanin esittämä kilpailusuunnitelma valittiin. Kahdeksan vuotta kestäneiden rakennustöiden jälkeen presidentti John Adams ja hänen vaimonsa Abigail muuttivat keskeneräiseen taloon vuonna 1800. Vuoden 1812 sodan aikana britit sytyttivät presidentin talon tuleen vuonna 1814. James Hoban nimitettiin rakentamaan talo uudelleen, ja presidentti James Monroe muutti rakennukseen vuonna 1817. Monroen hallintokaudella rakennettiin eteläinen portaikko vuonna 1824, ja Andrew Jackson valvoi pohjoisen portaikon lisäämistä vuonna 1829. 1800-luvun loppupuolella tehtiin erilaisia ehdotuksia presidentin talon merkittävästä laajentamisesta tai kokonaan uuden talon rakentamisesta presidentille, mutta näitä suunnitelmia ei koskaan toteutettu.
Presidentti Theodore Roosevelt aloitti vuonna 1902 Valkoisen talon peruskorjauksen, johon kuului presidentin toimistojen siirtäminen residenssin toisesta kerroksesta vastarakennettuun väliaikaiseen toimeenpanovirastorakennukseen (joka tunnetaan nykyään nimellä West Wing). Rooseveltin remontin suunnitteli ja toteutti kuuluisa newyorkilainen arkkitehtitoimisto McKim, Mead and White. Rooseveltin seuraaja, presidentti William Howard Taft, rakennutti Oval Office -huoneen laajennettuun toimistosiipeen.
Viisikymmentä vuotta Rooseveltin remontin jälkeen Valkoisessa talossa oli havaittavissa merkkejä vakavasta rakenteellisesta heikkoudesta. Presidentti Harry S. Truman aloitti rakennuksen peruskorjauksen, jossa kaikki paitsi ulkoseinät purettiin. Uudelleenrakentamista valvoi arkkitehti Lorenzo Winslow, ja Trumanin perhe muutti takaisin Valkoiseen taloon vuonna 1952.
Jokainen presidentti John Adamsin jälkeen on asunut Valkoisessa talossa, ja rakennuksen historia ulottuu kauas sen seinien rakentamisen ulkopuolelle. Valkoinen talo on sekä Yhdysvaltain presidentin ja hänen perheensä koti että Amerikan historian museo, aina pohjakerroksen käytävähuoneista, jotka ovat muuttuneet varhaisesta käytöstään palvelutiloiksi, valtiollisen kerroksen huoneisiin, joissa lukemattomia johtajia ja arvovaltaisia henkilöitä on juhlittu. Valkoinen talo on paikka, jossa historia jatkuu.