La coppia ebbe in totale otto figli, la terza dei quali, Phoebe Sarah Marks, nacque il 28 aprile del 1854. Dopo la morte del padre, nel 1861, mentre la madre era incinta dell'ottavo figlio, aiutò la madre nell'accudire i fratelli minori.
Ed è qui che arriva la prima persona importante nella vita di Phoebe: Marion Moss, sorella della madre.
Studiare in famiglia

Nella scuola della zia imparò francese e musica, ma fu grazie ai cugini che imparò materie come matematica, scienze e latino.
A sedici anni iniziò a lavorare come governante a Londra, mandando quanto guadagnava alla madre per aiutarla con i fratelli. Nel frattempo continuava a frequentare la famiglia di Karl Blind, ebreo tedesco emigrato in Inghilterra. La figlia di Karl, Ottilie Hancock, divenne la migliore amica di Phoebe, e fu proprio quest'ultima a darle il soprannome di "Hertha".
L'origine del nome è un po' dibattuta: da un lato potrebbe essere dovuto all'eroina protagonista di una poesia di Algernon Charles Swinburne in cui venivano criticate le religioni organizzate; dall'altro c'è il romanzo del 1856 della scrittirce femminista svedese F Bremer. E' probabile, considerando l'agnosticismo di Herta Marks, che entrambe le ispirazioni abbiano contribuito a suggerire alla giovane di adottare il soprannome.
Ad ogni buon conto proprio la scrittrice Bremer ebbe una grand einfluenza nel movimento delle suffragette inglesi, in particolare Barbara Bodichon, cofondatrice del Girton College, che venne presentata a Herta proprio da Ottilie. E proprio grazie a Bodichon, affrontyò gli esami locali dell'Università di Cambridge per le scuole superiori.





