1790年12月，在華盛頓哥倫比亞特區建成後，根據一項國會動議，建造白宮。喬治·華盛頓總統親自協助城市規劃師Pierre L'Enfant選址。主持工程的建築師通過比賽選出，共收到九個方案。愛爾蘭人James Hoban 獲得這項殊榮。工程於1792年10月13日奠基，它的設計模仿現為愛爾蘭議會所在地，原為在愛爾蘭首都都柏林的一所公爵府萊恩斯特宮（en:Leinster House）的一、二層。工程於1800年11月1日竣工，耗時8年，花費232,371.83 美元，考慮通貨膨脹的因素，大約等於現在的二百四十萬美元。

直到1825年前後柱廊還不是建築的一部分。

這幢大樓最初稱作“總統宮”或“總統府”。多利·麥迪森叫它做“總統的城堡”。直到1811年才首次出現公眾因為它漆成白色的石制外牆而稱之為“白屋”的記載。在希歐多爾·羅斯福總統于1901年以在信紙上印上“The White House”確立正式名稱之前，“行政官邸”這一名稱常常用於公文中。

1800年11月1日，約翰·亞當斯成為首位入住白宮的總統。1814年英美1812年戰爭中，華盛頓大部分地區被英軍縱火，白屋內部被焚毀。只有外牆殘存，但後來重建。外牆重新刷成白色，但需要說明的是，白宮早在1798年起就一直被刷成白色，火災後的重新粉刷不是像公眾傳聞所說是白宮名稱的來由。 1841年8月16日，當約翰·泰勒總統否決一項呼籲成立美國第二銀行的法案時，白宮再遭襲擊。被激怒的輝格党黨員在白宮外製造當時乃至今天美國歷史上發生在白宮廣場的最血腥的騷亂。如同英格蘭及愛爾蘭風格的房屋般無拘無束，白宮引人注目地對外開放直到二十世紀早期。1805年，湯瑪斯·傑弗遜總統在他的第二次就職典禮時開放白宮，當時參加他在國會山莊舉行的宣誓儀式的大多數人們跟隨他回家，接受他在藍廳的接見。

那些招待會有時會變得十分混亂: 1829年, 大約20,00個市民聚集在白宮祝賀安德魯·傑克遜總統的就職典禮,他被迫躲進一家旅館. 他的助手最終必須用裝滿用橘子汁和威士卡調製的強力雞尾酒講這群烏合之眾誘騙出來. 雖然如此, 這個習慣一直被保留到1885, 新當選總統格羅弗·克利夫蘭安排了一個在白宮正面看臺的總統閱兵來代替傳統的招待會.

傑弗遜還批准了一項白宮的公開遊覽,這項活動除了戰時停止外一直延續至今.並開始了每年新年和獨立日的招待會的傳統.這個招待會在20世紀30年代早期停止了

白宮在1960年十二月19日被確認為一處國家歷史地標(en:National Historic Landmark).