S výstavbou Bieleho domu podľa víťazného návrhu architekta s írskymi koreňmi Jamesa Hobana sa začalo v roku 1792 ešte počas vlády prvého prezidenta USA Georgea Washingtona. Prvý americký prezident (1789-97) v ňom však so svojou rodinou nebýval, žil striedavo v New Yorku a vo Philadelphii. Biely dom sa stal prechodným domovom až pre jeho nástupcu Johna Adamsa v roku 1800. Ďalší prezidenti ho už používali ako svoje trvalé sídlo. Len počas vlády 33. prezidenta USA Harryho S. Trumana (1945-53), keď sa pristavovalo tretie poschodie, býval prezident s rodinou v dome oproti (Blair House).
Prezidentský palác sa rozkladá na 7,2-hektárovom pozemku. Je obložený bielym mramorom a odráža sa tak od susediacich budov z červených tehál. Najznámejšou izbou z celého domu je Oválna pracovňa – oficiálna pracovňa prezidenta USA, vybudovaná ako súčasť rozšírenia západného krídla v roku 1909. Okrem vyhorenia z roku 1814 postihol úradné sídlo rovnaký osud i v roku 1929. Pre verejnosť ho po prvý raz otvoril tretí prezident USA Thomas Jefferson, úradujúci v rokoch 1801-09.
V súčasnosti má Biely dom 132 miestností, 35 kúpeľní, 412 dverí, 147 okien, 28 krbov, 12 komínov, osem schodísk a tri výťahy. Plní tiež funkciu živého múzea amerických dejín. Nachádzajú sa tu vzácne maľby, nábytok, sochy a porcelán, ktoré sú vystavované v miestnostiach prístupných aj pre verejnosť.
Republikán, 26. americký prezident (1901-09) Theodore Roosevelt, premenoval 12. októbra 1901 sídlo hlavy štátu vo Washingtone na Biely dom. Dovtedy sa budova nazývala Prezidentský palác alebo Prezidentský dom.
Keď sa do Bieleho domu v roku 2009 presťahovala rodina vtedajšieho prezidenta Baracka Obamu, jeho dcéry mali sedem a desať rokov. Syn v roku 2016 zvoleného prezidenta USA Donalda Trumpa má teraz desať rokov a bude prvým synom prezidenta v Bielom dome od čias Johna F. Kennedyho.
V záhrade Bieleho domu sa každoročne koná ceremónia, počas ktorej prezident USA omilostí moriaka či morku, dar od občanov USA. Tradícia dodávať do Bieleho domu moriaky na slávnostnú večeru pri príležitosti Dňa vďakyvzdania (štvrtý novembrový štvrtok) trvá od konca druhej svetovej vojny, keď bol prvým obdarovaným prezidentom Harry Truman.
Ľudí do záhrady Bieleho domu lákajú aj veľkonočné sviatky. Deti vtedy súťažia, kto rýchlejšie dokotúľa vajíčko po trávniku drevenou lyžicou do cieľa. Tradíciu založil v 70. rokoch 19. storočia vtedajší americký prezident Rutherford B. Hayes.
V roku 2014 sa cez oplotenie okolo Bieleho domu pretlačilo malé dieťa. Spôsobilo to poplach a krátke uzatvorenie okolia, ale takisto pobavilo novinárov Bieleho domu čakajúcich na prezidenta Baracka Obamu.
