У В.В. Нарышкина было три сына, оставившие каждый свой след в российской истории и культуре. Старший, Семен, стал вице-президентом Берг-коллегии, участвовал в Комиссии для составления проекта нового Уложения, серьезно интересовался литературой, выступал в журналах, печатая басни, стихи и переводы. Его стихотворения считались «очень изрядными», а переводы были «приняты с одобрением».
Младший, Василий, подобно старшему брату, не был чужд литературе – его элегию «Узрев твой нежный взор» напечатал Сумароков в 1759 г. в «Трудолюбивой пчеле». Василий Нарышкин, получив назначение начальником Нерчинских заводов, отличился там необычными административными реформами (хотя некоторые из них были вполне разумными), расточительностью и вымогательством. Подвиги его в Сибири даже привлекли внимание автора романа «Дочь купца Жолобова», с подзаголовком «Извлеченный из иркутских преданий». За множество нарушений Нарышкина отрешили от должности, препроводили в Петербург, в Петропавловскую крепость, и отдали под суд, признавший его виновным. Милосердная Екатерина приказала освободить его, но… «удержав в крепости на пять лет».
А вот средний сын, Алексей, стал владельцем усадьбы на углу Волхонки и Ленивки (№ 9). Как и старший брат, он также принимал участие в делах комиссии, отстаивая интересы дворянства. Одобрение Екатерины II вызвало его «страстное влечение к занятиям, направленным ко благу моей отчизны». Он путешествовал по Европе, познакомился с Дидро и вместе с ним приехал в Петербург, поселив его в доме брата Семена. По сравнению с братьями он сделал довольно успешную карьеру, был полоцким и псковским губернатором, получил чин тайного советника и сенатора, но под конец жизни выхлопотал себе длительный отпуск по болезни. Алексей Нарышкин приобрел известность как поэт и переводчик. Последние годы его прошли под Москвой, в поместье недалеко от радищевского имения Немцово.
После А.В. Нарышкина усадьба была разделена между его племянницами. К началу XIX в. южная ее часть (Ленивка, № 1) стала принадлежать действительному статскому советнику И.Н. Ефимовичу, женатому на Прасковье Семеновне, а позднее надворному советнику Г.П. Оболонскому.