Das Gartenpalais an der Kumpfmühler Straße und der dazugehörige weitläufige Park, der heutige Dörnbergpark, gingen im Jahr 1832 in den Besitz von Freiherr Ernst Friedrich von Dörnberg über. Als Leiter der fürstlichen Gesamtverwaltung trieb er für das Haus Thurn und Taxis gewinnbringende industrielle Projekte voran. Unter seiner Leitung wurde der Park aufwendig gestaltet, ein Rosarium angelegt und im nördlichen Bereich des Parks ein Gartenpavillon im Schweizer Landhausstil errichtet. Sein Sohn, der ebenfalls Ernst Friedrich hieß und 1836 geboren wurde, konnte das Familienvermögen noch erheblich erweitern. In seinem Testament bestimmte Graf Dörnberg: „Mein gesamtes Vermögen, gleich welcher Art, soll der Unterstützung von Waisen, der Vergabe von Stipendien sowie der Gründung wohltätiger und nützlicher Einrichtungen dienen …“. Die Gräfliche von Dörnberg‘sche Waisenstiftung überstand die Wirren der Kriege und unterstützt bis heute jährlich Waisenkinder mit beachtlichen Beträgen.