Die Bebauung der Schloßfreiheit begann im Jahre 1672. Nachdem anfangs zumeist Hugenotten in den hier aufgeführten "Freyhäusern" wohnten, veränderte sich im 18. Jahrhundert die Gegend mit Läden, Geschäften und Galerien. Die zehn Gebäude waren mehrheitlich im Besitz französischstämmiger Familien. Erste Überlegungen zum Abriss der Häuser zur städtebaulichen Anbindung der Schloßfreiheit an die Linden und die Behrenstraße gab es seit 1870. 1890 verfügte ein Reichstagsbeschluß den Bau eines Denkmals für Kaiser Wilhelm I., in dessen Folge 1892/93 das "Häusergerümpel" (Wilhelm II) abgerissen wurde. Um Mittel für die Abfindung der Besitzer zu beschaffen, wurde die "Schlossfreiheits-Lotterie" ins Leben gerufen. Zu den 47 Mietparteien, die hier bis zuletzt wohnten, gehörten das Konfektwarengeschäft Lichtenstein, die Holzwarenfirma Schneevogel, der Mosaikwarenfabrikant Micheli und die Bestattungsfirma Jorissen & Co.