Последний раз жена Владимира Николаевича (младшего сына композитора), Ольга Артемьевна, приехала в Любенск с двумя детьми летом 1920 года, чтобы подкормиться после голодной зимы в Петрограде. Она была единственной из семьи Римских-Корсаковых, рискнувшей отправиться в Любенск, несмотря на то, что там уже вовсю хозяйничал совхоз.
Весной следующего года в Любенск приезжал уполномоченный Отдела по охране, учёту и регистрации памятников искусства и старины Б. Н. Молас. При нём в Большом доме было вывешено объявление о том, что он взят этим Отделом под охрану.
Любенск. Большой дом. Яблоневый сад
Тем не менее совхоз продолжал распоряжаться усадьбой. О Любенске стали приходить невесёлые известия. Из деревни Запесенье писал крестьянин Иван Пискунов:
«Здравствуйте Владимер Николаевич, Ольга Артемьевна, Ондрюша и Таня. Шлём мы вам привет и наилучшие благопожелания. (…) Владимер Николаевич и Ольга Артемьевна, я всё ждал вас в Имение, но как видно не дождаться, и ещё прошу опишите как дела с Любенском, я так расчитывал что теперь всё-таки можно получить нево обратно. Несколько предметов из ваших вещей в Любенске уже нет, так что сердце кипит на такие подлости, но делать нечего. Я это слыхал лично от Ивана Ивановича утеря вещей большинство чехлы мебель и посуда». (Авторская орфография сохранена).
Примерно тогда же писала сестра Ивана, Саша:
«Здравствуйте, многоуважаемая Ольга Артемьевна, кланяемся мы вам, известные вам знакомые Володины. Ещё кланяемся вашему мужу Владимиру Николаевичу и вашим детям Андрюши и Тани. (…)
Теперь уведомляем вас, что в вашем имении теперь остаётся одная пустота – жалобища глядеть. (…) А от мебели вашей остаётся ничего, всё разводится по разным сторонам. Ещё привет вам от Марии Фёдоровны Агарёвой (…) нынче Исполком запретил ей учить. Затем досвиданья (…) остаёмся все живы и здоровы, чего и вам желаем всего хорошего». (Авторская орфография сохранена).
Рассмотрение правительством ходатайства Римских-Корсаковых о предоставлении им права пользоваться Большим домом и садом Любенска затянулось. Лишь осенью 1923 года было принято решение о восстановлении права наследников Николая Андреевича на усадьбу Любенск. Но полное к тому времени её разорение вынудило Римских-Корсаковых от усадьбы отказаться. Они написали в правительство письмо, в котором, в частности, говорилось:
Любенск. Семейная. Конюшня и каретник
«В настоящее время наши побуждения, заставившие нас возбудить ходатайство, решительно отпадают после того, как по сведениям, полученным с места в текущем году (…), на хуторе вырублены части сада-парка вековой давности и вывезен весь сельскохозяйственный живой и мёртвый инвентарь и почти всё домашнее имущество из дома, где жил отец. (…)
Поэтому,