Другую, четную сторону Лебяжьего переулка занимала обширная усадьба Никиты Моисеевича Зотова, первого учителя молодого Петра, а затем и ближайшего его сподвижника.
Подбирал учителя Петру его старший брат, царь Федор Алексеевич, по рекомендации думного дворянина Федора Соковнина. Выбор пал на дьяка Челобитного приказа Никиту Моисеевича Зотова, человека кроткого и добродетельного. Призвали его во дворец и подвергли строгому экзамену, который он успешно выдержал, после чего и приступил к занятиям с пятилетним Петром. Учение шло обычным порядком – азбука, чтение религиозных книг, письмо (которому Петр так толком и не научился), но Зотов, кроме всего этого, рассказывал своему ученику о русской истории и показывал привезенные из-за границы «потешные фряжские листы» с изображениями городов, рек, гор, животных. Петр любил своего учителя и позже держал около себя, давал важные поручения и сделал его главой – «князь-папой» – дружеских пирушек. Зотова называли там «всешутейший отец Иоаникита, пресбургский, кокуйский и всеяузский патриарх».
Одно время он был «ближним советником и ближней канцелярии генерал-президентом», одним из первых получил титул графа (первым был Борис Петрович Шереметев) и исполнял контрольные обязанности: «взял на себя сие дело государственного фискала, т. е. надсмотрителя, дабы никто от службы не ухоронивался и прочего худа не чинил, и сей свой уряд подписал своею рукой».
Скончался он в 1718 г., оставив троих сыновей – Конона, Василия и Ивана. Ни у старшего, ни у младшего из его сыновей детей не было, и усадьба перешла к среднему брату Василию, а затем к сыну последнего Никите Васильевичу и внуку Ивану Никитичу, который, вероятно, и выстроил существующий главный дом усадьбы, очень может быть, что с использованием каменных палат, стоявших на том же месте.
В 1802 г. усадьба числится за бригадиршей Дарьей Леонтьевной Чемодановой, а с 30 марта 1805 г. – за Александром Васильевичем Алябьевым, отцом известного композитора и значительным чиновником: действительным тайным