После окончания Института Мэри в Сент-Луисе, в котором поддерживалась суровая учебная дисциплина, осенью 1911 года Хэдли решила поступать в колледж Брин-Мар. Тем летом ее любимая сестра, Доротея, умерла от ожогов после несчастного случая у себя дома. Хэдли оцепенела от горя и так и не смогла освоиться в Брин-Маре. Ее стала опекать однокурсница Эдна Рапалло, которая привезла ее отдохнуть вместе со своей семьей в Вермонт. Хэдли сблизилась с Эдной и ее матерью, Констанс. Невозможно ясно представить последовательность событий, но в какой-то момент Флоренс решила, что мать и дочь Рапалло лесбиянки и что у Хэдли возникли лесбийские чувства к Констанс Рапалло. Позже Хэдли рассказала Эрнесту, что ее мать настолько ее смутила, что Хэдли забеспокоилась о своей сексуальной ориентации: «Я была очень внушаемой и начала представлять, будто у меня слабое сексуальное чувство [к Констанс] и она для меня… совершенно уверена теперь, это было не что иное, как очень испорченная всепоглощающая привязанность». Все происшедшее потрясло ее и еще больше подорвало и без того шаткую уверенность в себе, и в мае 1912 года Хэдли бросила Брин-Мар.
Вернувшись в дом, где теперь вместе с матерью жила молодая семья Фонни, Хэдли продолжала испытывать душевные страдания. Музыка была ее единственным утешением. Однако мать заявила, что ей не хватает упорства, необходимого для музыкальной карьеры, и Хэдли поверила ей. Хэдли жила почти в изоляции, общаясь лишь с матерью и сестрой, и у нее начали возникать суицидальные мысли. С началом Первой мировой войны она смогла выбраться из дома и стала работать волонтером в публичной библиотеке, где сортировала книги для отправки солдатам, но каждый раз, когда Хэдли заговаривала о настоящей работе, мать гневно запрещала ей думать об этом.
В 1920 году у Флоренс Ричардсон диагностировали брайтову болезнь – воспаление почек, тогда считавшееся смертельным заболеванием. Несколько месяцев Хэдли ухаживала за матерью. Пожалуй, нет ничего странного в том, что одновременно с тем как угасала Флоренс, Хэдли становилась сильнее. Она начала общаться с друзьями и знакомыми и даже завела поклонников. Будучи предоставлена сама себе в доме, где с ней плохо обращались, Хэдли превращалась в сильную, независимо мыслящую личность, одновременно, по понятным причинам, неуверенную в себе и хотевшую оставаться в тени. Когда Флоренс умерла в возрасте шестидесяти пяти лет, Хэдли, настоящий поздний цветок, заняла подобающее ей место. Она «истосковалась по людям, [которые] по-настоящему могли что-то значить» для нее, как позже скажет она интервьюеру. «Я была готова». Она «была очень экзальтированной молодой женщиной», когда повстречала Эрнеста. «Я поняла, что живу».
В октябре Хэдли начала планировать выходные в Чикаго, она хотела