Соседом Колычевского был участок Сумароковых (Большой Чернышевский переулок, 6). По переписи московских дворов 1716 г. им владел «стряпчий с ключом» (так назывались дворцовые экономы, управлявшие Мастерской палатой) Панкратий Сумароков, дед известного драматурга. Уже в 1760-х гг. в центре участка стоял нынешний каменный дом, который был приобретен в ноябре 1808 г. Екатериной Энгельгардт, женой генерал-майора Льва Энгельгардта, сподвижника Потемкина, Румянцева-Задунайского и Суворова. На дочери Энгельгардта Анастасии женился Е.А. Баратынский. Венчание происходило 6 июня 1826 г. в церкви Харитония, в приходе которой он жил тогда. Молодые вскоре переехали в нанятую квартиру в доме Малова (№ 14) в Столешниковом переулке, но позднее они жили здесь, в Большом Чернышевском переулке. В 1836 г. Баратынские переезжают в купленную ими усадьбу на Спиридоновке, но дом в Большом Чернышевском переулке не перестает быть связанным с известными деятелями культуры. В нем поселяется брат поэта и философа Н.В. Станкевича, биограф Т.Н. Грановского, писатель и общественный деятель Александр Станкевич. (Его фамилией «по ошибке» был назван в 1922 г. Большой Чернышевский переулок – московские власти думали, что они называют его в честь Николая Станкевича, прогрессивного литератора, главы литературного кружка.) Известный философ и историк, друг дома Б.Н. Чичерин, часто бывавший в этом доме, вспоминал, что при его содействии у Станкевича составилась небольшая, но хорошая картинная галерея, где были произведения Гвидо Рени, Гверчино, Беллини, голландских мастеров. Здесь собирался интеллектуальный кружок, в который входили Н.Х. Кетчер, С.М. Соловьев, И.К. Бабст, И.Е. Забелин, В.П. Боткин, К.Д. Кавелин. Как писал Чичерин, «собирался избранный кружок людей более или менее одинакового направления, обменивались мыслями, толковали обо всех вопросах дня. Мы с одинаковыми чувствами приветствовали новую эру и вместе сокрушались о последующем упадке литературы и общества. Одинаково нас возмущала и холуйствующая наглость Каткова, и легкомысленный задор социал-демократов».
По воспоминаниям, после концертов в консерватории участники их часто встречались в доме Станкевича. Как-то за ужином собрались музыканты, в числе которых были Н.Г. Рубинштейн, П.И. Чайковский, певица Дезире Арто. Во время ужина с энтузиазмом прозвучал тост, обращенный к Петру Ильичу и Арто: «За жениха и невесту!» Предполагаемый брак, однако, не состоялся. Здесь жили в начале 1840-х гг. хирург Ф.И. Иноземцев, в 1850-х гг. – И.М. Сеченов, тогда студент университета, с середины 1890-х гг. до кончины в 1907 г. – микробиолог и общественный деятель Г.Н. Габричевский. В советское время, в конце октября 1918 г., находилось американское генеральное консульство и коммерческий атташе, в 1920-х гг. здесь был так называемый 3-й дом Совнаркома; в 1920– 1950-х гг. жил советский партийный и государственный деятель В.П. Антонов-Саратовский, с 1926 по 1956 г. – архитектор И.В. Жолтовский, с 1920 по 1959 г. в доме помещался