Ludmilla Assing war die zweite Tochter der Schriftstellerin, Erzieherin und Scherenschnittkünstlerin Rosa Maria Varnhagen und des jüdischen Mediziners David Assur Assing. Sie wuchs in einem liberalen und musisch und geistig inspirierten Elternhaus auf. Ihre Mutter empfing unter anderen Heinrich Heine, Friedrich Hebbel, Karl Gutzkow und die Dichter des „Jungen Deutschland“ in ihrem Salon; ihre Töchter Ottilie und Ludmilla nahmen an politischen Diskussionen teil.
Nach dem Tod ihrer Eltern siedelten die Schwestern zu ihrem Onkel Karl August Varnhagen nach Berlin über. Während Ottilie im Streit das Haus verließ und später in die USA auswanderte, blieb Ludmilla Assing bis zu Varnhagens Tod 1858 bei ihm und seiner Frau Rahel Varnhagen.