Пара сняла квартиру в Вествуде, чтобы Дженет могла посещать занятия в Калифорнийском университете в Лос-Анджелесе и получить степень бакалавра. Нил вернулся в холостяцкую квартиру на Северной базе в Эдвардсе и приезжал в Вествуд по выходным – путь туда и обратно составлял более 290 километров. Как рассказывал Нил, «так продолжалось один семестр.
Потом мы перебрались в долину Антилоп и сняли дом в поле люцерны». В конце 1957 года они переехали в другое арендованное жилье в Джунипер-Хилл – там имелся маленький дом на горе. Этот переезд означал, что Дженет так никогда и не получит диплом колледжа, о чем она всегда сожалела.
Домик площадью около 56 квадратных метров с видом на долину Антилоп был откровенно сельским, с деревянным полом. Спален как таковых не было, только комната с четырьмя койками. В доме имелась крошечная ванная и маленькая кухня, очень примитивная канализация и никакого электричества. Даже после того как Нил сделал проводку, Дженет продолжала готовить на плите кухонного очага. Не было ни горячей воды, ни ванны. Душ получился, когда Нил перебросил шланг через ветку дерева. Чтобы выкупать своего первого ребенка Рикки (то есть Эрика Аллена, который родился 30 июня 1957 года), Дженет выносила на улицу пластиковую ванночку. Очень медленно, после большого количества строительных работ эта лачуга стала по-настоящему пригодной для жизни. Однако ее отдаленное расположение на склонах гор Сан-Габриэль было просто великолепным, а малочисленность соседей давала возможность отрешиться от всего. После сына Рикки 13 апреля 1959 года родилась дочь Карен Анна. Третий и последний ребенок Армстронгов Марк Стивен появился на свет 8 апреля 1963 года уже после того, как семья переехала в Хьюстон осенью 1962 года.
Работа Армстронга на базе Эдвардс была, как говорила Дженет, «в восьмидесяти километрах… но всего в одном дорожном перекрестке от дома». Нил делил автомобиль с другими сотрудниками Летно-исследовательской станции высоких скоростей, жившими в окрестных поселках, – они по очереди подвозили друг друга. То, что Армстронг был летчиком-испытателем, делало его худшим из тех, кто мог подвозить приятелей на машине. «Он был не слишком надежным», – признавала Бетти Скотт Лав, одна из «людей-компьютеров» Центра. Вместе с другими женщинами она работала в NACA в эпоху до появления электронных компьютеров, когда сотрудники производили утомительные математические операции по переводу всей полетной информации в значимые для инженеров единицы. (Так же как Бетти Скотт Лав на Летно-исследовательской станции высоких скоростей, Кэтрин Джонсон и другие «женщины-компьютеры» трудились в Научно-исследовательском центре NACA/NASA в Лэнгли, и история их подверженной половой и расовой сегрегации расчетной группы легла в основу сюжета фильма 2016 года «Скрытые фигуры».)
У Армстронга в самом деле была небольшая, но