Поселившаяся здесь семья Пушкиных состояла из пяти человек: глава семьи Сергей Львович Пушкин, московский чиновник средней руки; его жена Надежда Осиповна, урожденная Ганнибал; дети – Ольга, Александр и Николай. Позже у Сергея и Надежды Пушкиных родилось еще пятеро детей. Из них выжил только Левушка, остальные же – сыновья Михаил, Павел, Платон и дочь Софья – умерли в раннем возрасте.
В усадьбе Юсупова в начале XIX века стояло три каменных дома, один из которых – средний – и был арендован Сергеем Львовичем Пушкиным. В результате более поздних перестроек дом стал частью одного большого здания. Сегодня это его левое крыло (по другому мнению, Пушкины жили в несо-хранившемся деревянном флигеле).
В 1801 году Николай Борисович вдобавок к своему терему решил прикупить соседний особняк, принадлежавший семье коллежского асессора X. Христиана (ныне Большой Харитоньевский, 24) для размещения в нем домашнего театра и, главным образом, актрис, столь любимых князем. Дом как дом, а вот примыкавший к нему большой сад был даже более удачным приобретением, простираясь до современного Фурманного переулка. Юсупов решил сделать из него Версаль в миниатюре с регулярной планировкой, украсить его статуями древних богинь, разбить посередине круглый пруд со спускавшимися к нему двумя лестницами, устроить искусственный грот, беседки, аллеи и клумбы. Войти в него можно было через красивые ворота с Большого Харитоньевского. Юсуповский сад славился на всю Москву, усадебное садоводство на иноземный манер – английский или французский – было в ту пору в большой моде. Маленький Саша Пушкин много времени проводил в саду князя.
«Сад был великолепный. У Юсупова была татарская страсть к плющу, прохладе и фонтанам и любовь парижского жителя к правильным дорожкам, просекам и прудам. Из Венеции и Неаполя, где он долго был посланником, он привез старые статуи с обвислыми задами и почерневшими коленями. Будучи по-восточному скуп, он ничего не жалел для воображения. Так в Москве, у Харитонья в Огородниках, возник этот сад, пространством более чем на десятину.
Александр Пушкин. Худ. О. Кипренский
Князь разрешал ходить по саду знакомым и людям, которым хотел выказать ласковость; неохотно и редко допускал детей. Конечно, без людей сад был бы в большей сохранности, но нет ничего печальнее для суеверного человека, чем пустынный сад. Знакомые князя, сами того не зная, оживляли пейзаж. Пораженный Западом москвич шел по версальской лестнице, о которой читал или слышал, и его московская походка менялась. Сторожевые статуи встречали его. Он шел вперед и начинал, увлекаемый мерными аллеями, кружить особою стройною походкой вокруг круглого пруда, настолько круглого, что даже самая вода казалась в ней выпуклой, и, опустясь через час все той же походкой к себе