一七九二年六月，一位名叫詹姆斯.赫本的年轻人到费城拜见美国第一任总统乔治.华盛顿，希望能参与总统官邸的设计工作。二十天后，赫本拿出了设计草图。十月，总统官邸动工修建，一八零零年交付使用。但在当时，这座建筑并不叫“白宫”。

一七九九年十二月十四日，华盛顿溘然辞世，成为唯一一位没在白宫办公的总统。

一八零零年五月十五日，第二任总统约翰.亚当斯下令各部从临时首都费城迁往新首