Брак купца 1-й гильдии А. И. Перетца оказался счастливым. В семье подрастали четверо сыновей. Старший сын, Григорий Абрамович Перетц, получил прекрасное домашнее образование, окончил курс столичного Педагогического института и успешно служил в канцелярии петербургского генерал-губернатора. Правда, круг его новых знакомых и близких друзей вовлек молодого человека в российскую тайную организацию декабристов – Союз благоденствия, основанный на базе Союза спасения в 1821 году. По протекции заведующего канцелярией столичного губернатора генерала М. А. Милорадовича, Ф. Н. Глинки – активного участника Отечественной войны с наполеоновской Францией, известного поэта и писателя, – Г. Перетца включили в активную работу Северного общества. Г. А. Перетц не принимал непосредственного участия в акции на Сенатской площади и к восставшим не примкнул, но все же был через два дня арестован и препровожден в Петропавловскую крепость. По приговору суда его обвинили в правительственном заговоре и выслали из столицы в город Пермь.
Второй сын А. И. Перетца становится известным горным инженером и даже назначается начальником штаба Корпуса горных инженеров. Третий сын, Николай, впоследствии занимал должность директора Технологического института. Самый младший сын купца, Егор, появившийся на свет в год смерти главы семейства, со временем становится действительным тайным советником, затем – государственным секретарем, а на вершине своей служебной карьеры назначается членом Государственного совета.
Глава семьи купец Абрам Израилевич Перетц владел знаменитым петербургским особняком дворцового типа сравнительно недолго. Его домочадцы занимали в нем далеко не роскошные помещения, поскольку парадные покои дома до 1801 года сдавались владельцем в аренду семейству столичного генерал-губернатора и члена Государственного совета графу Петру Алексеевичу Палену, который характеризовал себя весьма оригинально, при этом свое необычное прозвище Ванька-встанька граф фон дер Пален себе выбрал сам: «Я, – любил говаривать генерал-губернатор, – похож на те маленькие куколки, которых хотели бы опрокинуть и поставить вверх ногами, но кои всегда опять становятся на ноги». История жизни этого государственного деятеля действительно напоминала русскую известную фигурку ваньки-встаньки.
Человек холодного ума и сердца, граф нередко попадал в серьезные неприятные жизненные истории, но, согласно своему прозвищу, благополучно выходил из неблагоприятных ситуаций, раскачивался и вновь уверенно становился на ноги.
И действительно, подобных доказательств у счастливчика графа Палена оказалось предостаточно. Родом он был из Лифляндии. Его предки являлись рыцарями знаменитого