Schon zu Lebzeiten des preußischen Königs beginnt die Planungsgeschichte für ein Denkmal. Am langen und wechselvollen Vorlauf dazu sind etwa 40 Künstler beteiligt, darunter Carl Gotthard Langhans, Friedrich Gilly, Johann Gottfried Schadow und Karl Friedrich Schinkel. Anfangs als Architekturmodell geplant und für unterschiedliche Standorte vorgesehen, wird 1839 eines der drei von Christian Daniel Rauch auf der Akademie-Ausstellung 1836 vorgestellten plastischen Modelle für die Ausführung bestimmt. Als Ort wird nach langen Diskussionen der östliche Anfang der Lindenpromenade festgesetzt. Die Grundsteinlegung für das Monument findet am 31. Mai 1840 statt, hundert Jahre nach Friedrichs Thronbesteigung, die feierliche Enthüllung am 31. Mai 1851.
Nach dem das Reiterstandbild den II. Weltkrieg unter einer Ummauerung unversehrt übersteht, wird es 1950 in einem abgelegenen Teil des Parks von Sanssouci deponiert, 1963 ins Hippodrom bei den Römischen Bädern umgesetzt und 1981 wieder nach Berlin zurückgebracht und etwas östlich des alten Standortes wiedererrichtet.
Hinter dem Denkmal das 1882/83 zum Gästehaus des Kaisers umgebaute ehemalige Niederländische Palais, Unter den Linden 36, (seit 1964 dort das sogenannte Gouverneurshaus) und anschließend das Hôtel du Nord, Nr. 35 (seit 1923/24 dort ein Bürohaus).