Wilhelm von Humboldt, der Philosoph, Sprachforscher und Begründer der Berliner Humboldt-Universität, sowie sein Bruder, der Naturforscher Alexander von Humboldt, verbrachten auf dem von ihrem Vater, dem preußischen Kammerherrn Major Alexander Georg von Humboldt, übernommenen Besitz ihre Kindheit.

Unter der Anleitung Wilhelm von Humboldts, der das Anwesen 1797 nach dem Tod seiner Mutter übernahm, wurde der auch unter dem Namen "Humboldtschloss" bekannte Herrensitz 1820-24 nach Plänen Karl Friedrich Schinkels im Stil des Klassizismus umgestaltet. Schinkel integrierte dabei das vorhandene Renaissancegebäude in einen vierflügligen Gebäudekomlex mit Ecktürmen und stimmte die nach Ansicht des Hausherrn bequeme und eigentümliche Innengestaltung auf die hier untergebrachte Antikensammlung des Hausherren ab. Das Gebäude umfasst unter anderem den Blauen Salon, den Antikensaal und das Blaue Turmkabinett.

1820 wurde auch der ursprünglich von Gottlob Johann Christian Kluth angelegte, seit 1983 unter Denkmalschutz stehende Schlosspark durch Peter Joseph Lenné einer umfassenden, größtenteils bis heute erhaltenen Neugestaltung unterzogen. Die in Ost-West-Richtung verlaufende, 1792 angelegte Lindenallee, an der auch die rund 400 Jahre alte Wilhelm-von-Humboldt-Eiche steht, führt zu der 1829 nach Plänen Karl Friedrich Schinkels angelegten Familiengrabstätte der Humboldts mit einer Kopie der 1818 von dem Bildhauer Bertel Thorvaldsen geschaffenen Statue der Spes (Hoffnung). Das 1945 von der Roten Armee beschlagnahmte, auf der Museumsinsel und in der Staatsbibliothek zwischengelagerte Original wurde 1990 neben anderen Skulpturen, Reliefs und Archivunterlagen nach Schloss Tegel rücküberführt und wird heute im Blauen Turmkabinett aufbewahrt.