Georg Bernhard von Bülow erbaute das Weiße Schloss 1825 als „Logierhaus“ für den Bädertourismus auf dem Kulm. Geplant wurde dieses von Karl-Friedrich Schinkel.

1859 ging das Haus in den Besitz des Reichsgrafen von Stolberg-Wernigerode über, dessen Witwe es ab 1867 bewohnte. Zwischenzeitlich wohnten die Kronprinzessin Victoria von Preußen samt Söhnen Wilhelm und Heinrich und später auch der Kronprinz Friedrich hier.

Nach dem zweiten Weltkrieg wurde das Weiße Schloss als Ferienheim des Zentralkomitees der SED und als SED-Kreisparteischule genutzt.

Nach 1990 und der Sanierung des denkmalgeschützten Hauses wird das Weiße Schloss wieder als Restaurant und Hotel genutzt.