Der Wannsee entwickelte sich in den 1860er Jahren zu einem beliebten Anziehungspunkt für Berliner Sommerfrischler, insbesondere nach dem Bau der Wannseebahn 1874. In der Colonie Alsen entstanden mehrere exklusive Restaurants, unter anderem in zwei zugekauften Ausstellungsgebäuden der Wiener Weltausstellung 1872/73: dem Kaiser-Pavillon direkt am Bahnhof Wannsee und dem Schweden-Pavillon in der Großen Seestraße, heute Am Großen Wannsee 28-30. 1909-1910 wurde der hölzerne Schwedische Pavillon von den Architekten Witt & Bischoff durch ein deutlich größeres Gebäude im englischen Landhausstil ersetzt. Bis in die 1930er Jahre war der Schweden-Pavillon ein erstklassiges Hotel und Restaurant. Während des Zweiten Weltkrieges wurde das Gebäude Hauptquartier des Rundfunk-Abhördienstes „Sonderdienst Landhaus“, in der Nachkriegszeit war hier noch einmal einige Jahre ein Ausflugslokal, 1956 richtete der Arbeiter Samariter Bund ein Pflegheim ein. 2003/2004 erfolgte die Sanierung und Umwandlung in Eigentumswohnungen.