Н. С. Мартынов женился на польке Софье Иосифовне и поселился в собственном доме в Москве, а следовательно, и в Знаменском, в архиве которого были обнаружены спустя много лет материалы следственного дела по дуэли. 15 июля 1871 года в Знаменском он начал писать воспоминания под названием «Моя исповедь»: «Сегодня минуло ровно тридцать лет, когда я стрелялся с Лермонтовым. Трудно поверить! Тридцать лет – это почти целая жизнь человеческая, а мне памятны малейшие подробности этого дня, как будто происшествие случилось только вчера. Углубляясь в себя, переносясь мысленно за тридцать лет назад и помня, что я стою теперь на краю могилы, что жизнь моя окончена и остаток дней моих сочтен, я чувствую желание высказаться, потребность облегчить свою совесть откровенным признанием самых заветных помыслов и движений сердца по поводу этого несчастного события». Интересно, что в «Исповеди», оставшейся незавершенной, ничего не говорится о самой дуэли.
Софья Мартынова умерла в 1861 году в Риге и была перевезена в Знаменское, где ее и похоронили в семейном склепе. Николай Соломонович прожил после этого еще 14 лет и нашел наконец упокоение в том же семейном склепе, причем завещал не ставить на его могиле никакого надгробия, чтобы память о нем исчезла, вместе с ним.
У Николая Соломоновича и Софьи Иосифовны было 11 детей. В 1915 году Знаменское перешло к внуку Н. С. Мартынова Георгию, вернувшемуся с фронта. В 1917 году Г. В. Мартынов, вместе с женой и двумя маленькими детьми, эмигрировал в Лондон. Только самый младший внук Н. С. Мартынова – Борис Викторович, пожалуй, единственный, кто остался в России. В 1930-е годы житель деревни Владычино Никита Яковлевич Богачев видел его в форме курсанта школы служебного собаководства, находившейся в Лунево. После Великой Отечественной войны Б. В. Мартынов якобы работал врачом в Химках.
После революции в Знаменском организовали племенное хозяйство, которым до 1919 года заведовал бывший управляющий имением Иван Мартынович, который еще поддерживал относительный порядок. Новый заведующий А. С. Федосеев вывез мебель, одежду, несколько подвод ковров, найденные в тайнике серебряную посуду и позолоченные оклады икон. В 1939 году старинный секретер из Знаменского, датируемый 1840-ми годами, оказался в лермонтовском Музее-заповеднике Тарханы, где долгое время ошибочно именовался «секретером бабушки поэта». В 1973 году реставраторы обнаружили в нем сверток с бумагами и реликвиями семьи Мартыновых.
Усадьба постепенно ветшала. В 1921 году барский особняк отдали под Дом отдыха. Однажды воры обокрали и подожгли храм. Пожар удалось быстро потушить, после чего храм вновь побелили на средства прихожан. В 1924 году в Знаменское переехала Алексеевская школьная колония бывших беспризорников. Узнав на уроке литературы, что в склепе похоронен тот самый Мартынов, который убил на дуэли поэта Лермонтова, колонисты ночью выкинули