По воспоминаниям А.М. Тургенева, современника событий, «Приехал в Москву симбирский дворянин Алексей Емельянович Столыпин, себя и дщерей своих показать, добрых людей посмотреть, хлебом-солью покормить и весело пожить; у дворянина был, из доморощенных парней и девок, домовой театр – знатная потеха. После, года через три, как дворянин попроелся, казна его поистряслась, он всю стаю актеров и актрис продал к Петровскому театру, поступившему в то время в ведение и управление Московскаго опекунскаго совета. Алексей Емельянович, – не тем будь помянут, царство ему небесное, не гной его косточки, – нигде ничему не учился, о Мольере и Расине не слыхивал, с молодых дней бывал игроком, забиякой, собутыльником Алексию Орлову (гр. Алексею Григорьевичу), а под старость страдал от подагры, геморроя и летом обувал ноги свои в бархатные на байке сапоги. Вот полнейшая биография почившего, – ни прибавить, ни убавить нечего».
Когда он собрался уже распродавать своих актеров, они смогли подать императору Александру I прошение: «Слезы несчастных никогда не отвергались милосерднейшим отцом, неужель божественная его душа не внемлет стону нашему. Узнав, что господин наш, Алексей Емельянович Столыпин, нас продает, осмелились пасть к стопам милосерднейшего государя и молить, да щедротами его искупит нас и даст новую жизнь тем, кои имеют уже счастие находиться в императорской службе при Московском театре. Благодарность будет услышана Создателем Вселенной, и он воздаст Спасителю их», и, как ни странно, царь услышал их, чему помогло немало то, что владелец после торговли скинул с запрашиваемой цены – 42 тысячи – 10 тысяч. Артисты смогли увидеть на афише перед своими фамилиями желанную букву «г.», что означало «господин» или «госпожа», означавшую, что бывшие крепостные стали свободными людьми.
В 1805 г. усадьбу приобрел князь В.А. Хованский, который через три года уже продал ее. Причиной столь скорой продажи послужило происшествие, которое показалось ему знаменательным: когда умер его сосед, князь А.И. Вяземский (отец поэта), священник приехал на отпевание по ошибке в дом Хованского и, увидев, что хозяин жив, сказал ему: «Как я рад, князь, что встречаю вас; а я думал, что приглашен в дом ваш для печального обряда». Суеверный Хованский поспешил продать дом. Его приобрел князь