Нижний этаж этого особняка Елисеева почти полвека арендовали знаменитые столичные торговые предприятия: магазин Везина (торговля перчатками) и известная лавка всевозможных канцелярских принадлежностей купца Сушкина.
Приобретя у наследников А. И. Косиковского участок с тремя каменными зданиями, братья Елисеевы решили строения участка, выходящие на Невский проспект и Большую Морскую улицу, сдавать в аренду отдельным состоятельным жильцам и организациям. Корпус же бывшего дома Косиковского, обращенного на набережную реки Мойки (дом № 59), они стали перестраивать для себя, по своему вкусу, и затем переселились в него, выехав из старой квартиры покойного батюшки в доме Котомина на Невском проспекте вблизи Зеленого моста.
Наследникам основателя торговой фирмы понравилось тихое и спокойное место на набережной реки, с ее неспешным течением и умиротворяющим покоем. Из окон квартиры открывался замечательный вид на два великолепных старинных дворца, построенных некогда на левом берегу водоема для графов Строгановых и Кирилла Разумовского. Для воплощения в жизнь задумок Г. П. и С. П. Елисеевых вновь был приглашен «семейный» архитектор Н. П. Гребенка, надстроивший трехэтажное каменное здание четвертым дополнительным этажом и внесший существенные изменения в декор фасадов старой постройки. Теперь они были украшены элементами в классической манере, типичной для эпохи середины XIX столетия.
После завершения перестроечных работ и отделки внутренних помещений четырехэтажного флигеля в нем первоначально поселились оба наследника основателя торговой фирмы со своими семьями. Однако в начале 60-х годов XIX столетия, после согласованного раздела унаследованной от отца недвижимости, комплекс зданий, расположенных на набережной реки Мойки, Невском проспекте и Большой Морской улице, переходит в собственность старшего брата – Степана Петровича Елисеева, прожившего на набережной реки Мойки до своей смерти в 1879 году. Комплекс же домов в Центральном районе Петербурга унаследовал его единственный сын – Петр Степанович Елисеев, вышедший через два года из семейного Торгового дома братьев Елисеевых и посвятивший себя карьере финансиста. С 1881 года Петр Степанович становится одним из ответственных руководителей Русского внешнеторгового банка. Так же, как и его родитель, сын активно занимался благотворительностью. Свою дочь, Анну Петровну, банкир выдал замуж за богатого купца столицы конца XIX – начала XX столетий, коммерсанта и общественного деятеля Павла Ивановича Лелянова. Потомственный почетный гражданин, купец 1-й гильдии, жених в ранге городского головы возглавлял городское самоуправление вплоть до событий Февральской буржуазной революции 1917 года.
В 1901 году банкир Петр Степанович Елисеев скончался. Его недвижимость, включая семейный дом № 59 на набережной реки Мойки, переходит по наследству внуку Степана