Adams va viure a la casa poc temps, i aviat va ser ocupada pel president [[Thomas Jefferson]] que va considerar com engrandir la Casa Blanca. Amb l'ajuda de [[Benjamin Henry Latrobe]], va ajudar a projectar el disseny de les Columnates Est i Oest, petites ales que ajudaven a ocultar les operacions domèstiques de bugaderia, un estable i un magatzem. Actualment les columnates Jefferson uneixen la residència amb les Ales Est i Oest.
Durant la [[Guerra Anglo-Americana de 1812-1815|Guerra de 1812]], gran part de [[Washington DC]] va ser incendiat per les tropes britàniques en venjança per la crema dels Edificis del Parlament de l'Alt Canadà (actualment [[Toronto]]) en la Batalla de York, deixant la Casa Blanca en ruïnes.<ref>{{citar ref-web|url=http://www.whitehousehistory.org/whha_classroom/classroom_4-8-history-war.html |títol=The White House at War: The White House Burns: The War of 1812 |consulta= |obra= |editor=White House Historical Association |data= |llengua=anglès }}</ref> L'interior de la mansió va quedar destruïda, i només les parets exteriors van romandre dretes, i van haver de ser enderrocades i posteriorment reconstruïdes a causa del debilitament que va causar el foc i a la posterior exposició als elements, a excepció de porcions de la paret sud. Una llegenda va sorgir arran de la reconstrucció de l'estructura, que deia que es va utilitzar pintura blanca per ocultar els danys que havia produït l'incendi, donant a l'edifici el seu nom. Això és infundat, ja que l'edifici ja havia estat pintat de blanc des de la seva construcció en 1798. De totes els objectes que van ser saquejats de la Casa Blanca durant la guerra, només se'n van recuperar dos, una pintura de [[George Washington]], rescatada per la llavors primera dama Dolley Madison quan escapava de la Mansió, i una caixa de joieria, va ser retornada al president Franklin Delano Roosevelt el 1939 per un canadenc que va dir el seu avi l'havia pres. La major part dels objectes es van perdre quan un comboi de naus britàniques amb el HMS Fantome al capdavant, es va enfonsar quan es dirigia de Halifax a Prospect, Canadà, durant una tempesta a la nit del 24 novembre 1814.
