Für Josephine ist die Heimkehr jedoch mit gemischten Gefühlen verbunden. In den ersten fünf Jahren ihres Lebens hat sie seitens ihrer Mutter fast nur Ablehnung erfahren, und tatsächlich hofft sie vergeblich auf einen Sinneswandel (wenn sie denn hofft): Carrie erwartet sich durch ihre Tochter vor allem Hilfe im Haushalt und bei der Betreuung der kleinen Geschwister. Zumindest meint Josephine jetzt aber wenigstens eine Erklärung gefunden zu haben, warum ihre Mutter sie nicht liebt: Die Geschwister haben dunklere Haut als sie selbst, sie sind erwünscht, sie nicht.
„Ich war daran gewöhnt, dass meine Mutter wegen mir weniger geachtet wurde, aber ich habe (noch) nicht verstanden, warum sie sich für mich schämen musste.“12
Zu weiß für die Schwarzen und zu schwarz für die Weißen – das Dilemma ihrer Hautfarbe wird von Josephine lange in ganz unterschiedlichen Lebensbereichen als Begründung für An- oder Ablehnung herangezogen, manches Mal sicher zu Recht, manches Mal aber wohl eher als Schutzbehauptung vor weitaus persönlicheren Gründen.
Für Carrie gilt auf jeden Fall, dass sie nichts zu verschenken hat, denn das Leben in St. Louis ist ein immerwährender Kampf, und so gibt es in Josephines Kindheit von vielem zu wenig: zu wenig Liebe, zu wenig Platz, zu wenig Essen, zu wenig Kleidung, zu wenig Wohlwollen, zu wenig Obhut. Oft fehlt das Geld für die Miete, entsprechend oft wird die Wohnung gewechselt, doch gleich wo die sechsköpfige Familie unterkommt, nie hat sie mehr als zwei Zimmer. Die Kinder schlafen auf einer Matratze auf dem Boden. Die Wände sind für eine etwas bessere Isolation mit Zeitungspapier beklebt. Die Bodendielen sind voller Schlupflöcher für Ratten und Ungeziefer. Einmal in der Woche badet die Familie in Carries Wäschezuber der Reihe nach im selben Wasser, und Thumpie wird als Letzte nie richtig sauber. Sie hat nur unzureichend Kleidung, friert und ist meistens hungrig.
Nach der Schule streift Josephine mit einer kleinen Gang durch ihr Viertel, sie sammeln heruntergefallene Kohle an den Bahngleisen, die sich einfach verkaufen lässt. Als sie etwas älter sind, ziehen sie in den besseren Wohnvierteln von Tür zu Tür und bieten gegen ein paar Pennys Hilfe im Haushalt an. „‚Sollen wir vor Ihrer Tür Schnee schaufeln? Sollen wir Ihnen die Küche putzen?‘ Sehr oft wurde uns die Tür vor der Nase zugeschlagen“, erinnert sich Josephines um zwei Jahre jüngere Schwester Margaret. „Die Damen fanden Josephine zu schwächlich, zu mager, zu jung. Wenn aber eine sagte: ‚Dazu bist du ja noch viel zu klein!‘, so erwiderte sie, ohne mit der Wimper zu zucken: ‚Ich sehe bloß so jung aus für mein Alter, aber ich bin schon fünfzehn!‘“
Mit rund acht Jahren liefert Thumpie regelmäßig 25 Cent ab und bessert damit das Familienbudget auf. Außerdem hilft sie, etwas zu essen auf den Tisch zu bringen, indem sie auf dem nahegelegenen Bauernmarkt unter den Ständen heruntergefallene Lebensmittel sammelt. Wenn es zu Weihnachten Geschenke für die Geschwister gibt, dann kommen sie von Josephine. Dafür bittet sie bei ihren Arbeitgebern um aussortierte Spielsachen, Kreidestücke oder ein Stück Seil zum Springen und verpackt alles in Zeitungspapier. Die Weihnachtsgeschichte von Santa Claus kommentiert sie lapidar: „Santa Claus existiert nicht. Ich bin Santa Claus.“13
Doch so sehr Josephine sich auch bemüht, ihre Familie zu unterstützen, zwischen Carrie und ihr entsteht keine liebevolle Mutter-Tochter-Beziehung, noch weiß Carrie den Einsatz ihrer Tochter zu schätzen. Im Gegenteil: Mit acht Jahren ist Josephine in den Augen ihrer Mutter alt genug, um „richtig“ arbeiten zu gehen. Sie wird als Dienstmädchen zu einer alleinstehenden Dame namens Keiser geschickt, bei der sie für Kost und Logis von morgens fünf Uhr bis in den späten Abend hinein die Öfen anheizt, Kartoffeln schält, Böden schrubbt, Nachttöpfe reinigt und die Wäsche macht – mit einer kurzen Unterbrechung, in der sie zur Schule geschickt wird.
Als Josephine ihre Stelle antritt, kleidet Mrs. Keiser sie neu ein, doch es bleibt bei der einen netten Geste, schnell stellt sich heraus, dass Mrs. Keiser fordernd, aufbrausend und sadistisch ist. Die kleinsten Fehler werden mit Prügeln bestraft, zum Schlafen muss Josephine in den Keller, wo sie sich mit in eine Hundekiste legt, weil sie kein Bett hat. Den freundlichen, humpelnden Hund tauft sie „Three Legs“, mit ihm beginnt ihre lebenslange Verbundenheit mit Tieren. In der Küche züchtet Mrs. Keiser einen Hahn in einem kleinen Stall unter dem Tisch. Auch ihn schließt Josephine in ihr Herz. Sie tauft ihn „Tiny Tim“, füttert ihn und redet mit ihm, während sie die Küchenarbeit erledigt, bis ihre Chefin entscheidet, er sei fett genug und es sei Zeit, ihn zu schlachten – auch diese Aufgabe wird an Josephine delegiert. Die Grausamkeit Mrs. Keisers findet ihren Höhepunkt, als sie sich darüber ärgert, dass Josephine das Spülwasser überkochen lässt und die Teller zerspringen. Wütend übergießt sie Josephines Hand mit der kochenden Lauge und verbrüht sie so stark, dass sie ins Krankenhaus eingeliefert werden muss. Unter diesen Umständen hat Carrie ein Einsehen und holt ihre Tochter heim, allerdings nur bis die Wunden verheilt sind, dann wird sie erneut als Haushaltshilfe zu einem weißen Ehepaar geschickt.
Bei Mr. und Mrs. Mason bekommt die abgemagerte Josephine ausreichend zu essen, ein Bett und wird neu eingekleidet, sie bekommt sogar freie Zeit zum Spielen und Lernen – dieses Mal scheint Josephine Glück gehabt zu haben. Sie erholt sich, ihre Schulnoten werden besser, sie nimmt auch wieder etwas zu, doch sobald sie bei Kräften ist, zerbricht auch dieses Glück: Mr. Mason beginnt nachts in ihr Zimmer zu kommen und wird übergriffig. Thumpie ist verwirrt und fragt Mrs. Mason in kindlicher Naivität, ob ihr Mann krank sei, er würde nachts stöhnend bei ihr am Bett stehen. In anderen Versionen der Geschichte hält sie ihn für ein Gespenst. Josephine wird nach Hause zurückgeschickt, doch weder Carrie noch ihr Stiefvater Arthur zeigen Verständnis, vielmehr werfen sie ihr vor, unfähig zu sein, eine so gute Chance zu nutzen: „Meine Mutter ist wütend: ‚Na da hört sich doch alles auf! Du kannst nirgends bleiben, wo du es gut hast!‘ Ich erkläre die Sache mit dem Gespenst, und Arthur lacht, bis ihm die Tränen kommen. ‚Mein Gott ist das Kind dumm! Mein Gott, was ist sie dumm!‘ Ich wundere mich, weil Mrs. Manson gesagt hat, ich sei intelligent, und weil die Weißen den Schwarzen nicht oft Komplimente machen, aber er wird wohl recht haben: es gibt so vieles, was ich an den großen Leuten nicht verstehe.“14
Als Anführerin ihrer Straßengang, als Mutterersatz für die kleinen Geschwister und als Santa Claus – manche Rollen verklärt Josephine noch Jahre später, doch der Existenzkampf in bitterarmen und schwierigen Lebensverhältnissen ist hart. Es gibt keine stabile Größe in ihrem Leben: Die Mutter schickt sie immer wieder weg, wenn sie eine Stelle in Aussicht hat, der Stiefvater ist kein verlässlicher Ernährer, der eigene Vater ist abwesend, ihr Spielplatz ist die Straße und positive Vorbilder außerhalb der Familie fehlen. Die Gesellschaft ist nicht durchlässig, für ungelernte Arbeiter gibt es kaum Chancen auf eine Besserung der Lebensverhältnisse, für schwarze ungelernte Arbeiter kommt die strikte Rassentrennung erschwerend hinzu, die meisten Familienbiografien werden von Generation zu Generation weitergegeben.
Auch Josephine wählt den traditionell naheliegenden Weg für junge Frauen: Mit 13 beschließt sie, den nur wenig älteren Willie Wells zu heiraten.15 Doch der Versuch, sich von den Konflikten mit ihrer Familie zu befreien und ihrem Leben durch (vermeintliche) Selbstbestimmung eine andere Richtung zu geben, ist zwangsläufig zum Scheitern verurteilt. Josephine spielt Hausfrau, Ehefrau und werdende Mutter. Sie dekoriert das kleine Zimmer, das sie mit Willie bewohnt, sie putzt, sie kocht, beginnt Babykleidung zu stricken und organisiert sogar ein Babybett – alles, ohne schwanger zu sein. Nach nur wenigen Monaten endet die Ehe in einem Streit, als Willie ihre Lüge aufdeckt. 1921 folgt eine zweite Ehe mit dem Zugbegleiter William Baker. Ihre Ehe wird wegen Lizenzproblemen in Camden, New Jersey, geschlossen. Josephine macht falsche Angaben zu ihrem Alter, verheimlicht ihre erste Ehe und gibt ihren Eltern falsche Namen, wie aus dem Hochzeitsregister hervorgeht. Dort ist festgehalten: William Howard Baker (23 Jahre alt; unverheiratet; farbig; Geburtsort: Gallatin, Tennessee; Vater: Warren Baker; Geburtsname Mutter: Mattie Wilson) schließt die Ehe mit Josephine Wells (19 Jahre alt; unverheiratet; farbig; Geburtsort: St. Louis, Missouri; Vater: Arthur Wells; Mädchenname der Mutter: Carrie Martin).16 Auch diese Ehe hält nicht lange, aber mittlerweile hat Josephine Baker ohnehin einen anderen Fluchtweg