Первый президент США Вашингтон предсказывал, что названный его именем город США будет соперничать своей красотой и величием с Парижем и Лондоном, но поначалу город сильно уступал этим колоритным европейским столицам. В 1800 году, когда первыми обитателями Белого дома стали президент Джон Адамс и его супруга Эбигейл, в их распоряжении было всего шесть жилых комнат и четверо слуг, которых Адамсы привезли с собой. Строительство их нового жилища было далеко от завершения, а сам Вашингтон представлял собой затерянный среди болот аванпост, в поисках которого переезжавшая из Балтимора президентская чета проплутала несколько часов. Когда в конце концов они прибыли на место, заходить в дом пришлось по деревянным мосткам – парадное крыльцо еще не построили. На месте сегодняшнего Западного крыла стояли прачечная и конюшня, а городским властям пришлось даже прикрыть бордель, устроенный в бараках рабочих, занятых на строительстве Белого дома. (Это категорически не устраивало плотников и каменщиков, и бордель переместился в более неприметную часть города.)
«У нас нет даже ограды, двора и каких-либо других общепринятых вещей. Главную лестницу не возвели и к зиме не возведут», – писала Эбигейл дочери.
Обосновавшись в Белом доме, Эбигейл оценила потребность в штате прислуги, необходимой для его нормального функционирования, в тридцать человек. (Сегодня это почти сотня.) Семьи первых президентов обычно привозили горничных, поваров и камердинеров с собой и платили им из собственного кармана. В последние десятилетия президентским семьям случалось приводить с собой одного-двух особо приближенных работников из своей прошлой жизни, но в целом они полагаются на штатный персонал резиденции.
В 1814 году, ближе к концу англо-американской войны, британцы сожгли Белый дом дотла. Президент Джеймс Мэдисон попросил Хобана помочь с восстановлением здания, уже ставшего одним из национальных символов. С тех пор каждый президент старался внести свою лепту в облик здания. После серии викторианских украшательств, проведенных в течение XIX века, в 1902 году президент Теодор Рузвельт нанял известную нью-йоркскую архитектурную фирму McKim, Mead & White, чтобы отреставрировать особняк в соответствии с его изначальным неоклассическим стилем. По его указанию на третьем этаже устроили гостевые комнаты и снесли несколько огромных стеклянных теплиц, где выращивались фрукты и цветы для президентской семьи, чтобы освободить место для пристройки, получившей название Западное крыло. Позднее в том же году Рузвельт переместил свой основной рабочий кабинет со второго этажа особняка в Западное крыло, а его преемник Уильям Говард Тафт дополнил это Овальным кабинетом, завершенным в 1909 году.
Последняя крупная реновация была предпринята в период администрации Трумэна, когда крыша стала в буквальном смысле обваливаться и появилась серьезная угроза разрушения