Schon als Kind hatte Toni Milberg, aus einer Kaufmannsfamilie stammend, den Wunsch, Lehrerin zu werden. Nach dem Lehrerinnenexamen, 1876 am Königlichen Lehrerinnen-Seminar zu Callenberg, leitete sie im Hause des Hamburger Hauptpastors Calinich den damals für höhere Töchter üblichen Privatunterricht im kleinen Kreis - Kurse genannt - die er für seine Töchter eingerichtet hatte. Gleichzeitig machte sie ihr Vorsteherinnen-Examen und baute nach dem Tod Calinichs aus diesen und weiteren von ihr entwickelten Kursen die Milbergsche Kursusschule auf, die sich später auf einem von Toni Milberg erworbenen Grundstück in der Klopstockstr. 17 befand. Toni Milberg leitete die Schule über 25 Jahre lang zusammen mit ihrer Freundin Martha Krecke.