В январе 1931 года Любови Васильевне пришлось взять на дом договорную сдельную работу, чтобы расплатиться с долгами, о чем она писала в письмах мужу:
«Работаю по-прежнему много, иногда до помутнения мозгов»; «Мой добавочный заработок пойдет главным образом на покрытие долгов; на мое жалованье 175 р‹ублей›[6] прожить трудно, невозможно просто».
События же, происходящие в стране, отношение к школе и институту девочки комментировали в своих дневниках, особенно младшая дочь Нина.
Осенью 1931 года Любови Васильевне стали помогать старшие дочери, взяв надомную работу, о чем мать с гордостью сообщала мужу в декабре 1931 года: «Итак, папа, мы дождались помощников. Ляля и Женя вместе зарабатывают 90 руб
‹лей›, почти мой заработок».
Больше всего Любовь Васильевну волновало то, что ее работа до позднего вечера в будние дни и бесконечные поездки по городу в поисках продуктов и одежды в выходные отнимают все свободное время, что дети ее совсем заброшены:
«И моего влияния за последние месяцы не было, т‹ак› к‹ак› сдельная работа меня совершенно оторвала от дома и детей. А этот возраст особенно требует разумного влияния»; «Мне иной раз кажется, что они совсем стали чужие».
По возвращению в Москву, благодаря помощи знакомому члену Моссовета[7], Сергею Федоровичу удалось остаться в Москве, и вскоре он стал работать экономистом в столовой № 23, а позднее экономистом на строительстве домов для метростроевцев.
2 ноября 1932 года на квартиру Луговских неожиданно пришли с ордером на обыск. Любовь Васильевна при этом вела себя достаточно агрессивно, а девочки насмешливо следили за сотрудниками органов ОГПУ, проводивших обыск, на каждое замечание отвечали какой-нибудь колкостью, все время посмеивались над ними, но при этом страшно нервничали из-за дневников, особенно Нина, судя по ее записям: «Как вспоминала, что у меня там написано, так жутко становилось».
Весной 1933 года, с началом паспортизации в стране, Сергею Федоровичу отказали в московской прописке, в десятидневный срок он должен был выехать из Москвы. Здоровье его к тому времени ухудшилось: он сильно осунулся, пожелтел, морщины стали резче вырисовываться на хмуром суровом лице, при этом он еще стал слепнуть, что очень волновало жену.
Взаимоотношения с дочерьми у Сергея Федоровича были очень сложные: их неорганизованность, равнодушие к политической жизни, увлечение мальчиками его сильно раздражали, он постоянно ссорился с ними, и больше всего столкновений у него было с младшей дочерью. Многие записи в ее дневнике об отце очень резки, есть даже записи о ненависти к отцу, но при этом она и восхищалась его твердостью: «Я люблю его, когда он революционер, люблю его человеком идеи, человеком дела, человеком, стойко держащимся своих взглядов, не променявших их ни на какие блага жизни».
Сергей Федорович, выехав из Москвы, поселился в деревне Марьин Брод Можайского