1736-1740 war das Schloß Residenz des Kronprinzen und späteren preußischen Königs Friedrich des Großen, der es durch seinen Freund G. W. von Knobelsdorff ausbauen ließ und mit Regierungsantritt seinem Bruder Heinrich schenkte. Zu literarischer Bekanntheit gelangte das Schloss durch Theodor Fontane in seinen Wanderungen durch die Mark Brandenburg und die Erzählung von Kurt Tucholsky Rheinsberg: Ein Bilderbuch für Verliebte von Kurt Tucholsky aus dem Jahr 1912.
Nach der Enteignung 1945 war hier hier 1951 die Diabetiker-Klinik "Helmut Lehmann" eingerichtet worden, in der jährlich an die 2000 Kranke aus dem Gebiet der DDR Kuraufenthalte verbrachten. Touristische Besucher erhielten die Auskunft "Die Besichtigung der Innenräume des Schlosses ist nicht möglich, da der Kuraufenthalt der Patienten sonst gestört wird". Rolf Goetze, der sich für einen seiner Dia-Vorträge mit der Kamera auf die Spuren von Theodor Fontane bewegte, musste sich deshalb mit einer Außenansicht begnügen.

Nachlass Rolf Goetze, aus der Serie: Kasten 50 Fontane, Ribbeck, Fehrbellin, Rheinsberg, Wustrau, Kremmen (70er Jahre)