Перетц родился в Любартове (Люблинская губерния) в 1771 г., в семье раввина. Довольно рано, в 16 лет, он женился на Саре Цейтлин, дочери управляющего светлейшего князя Г.А. Потемкина, что было по тем временам весьма удачной партией. Но и без любви, очевидно, не обошлось – красавица Сара имела стройную фигуру и небольшой рост, за что ее даже прозвали «Птичкой». В столицу Российской империи А.И. Перетц переехал в конце 1790-х гг. и вскоре приобрел дом Чичерина, где занял не парадные залы, а квартиру с окнами на Мойку: апартаменты на третьем этаже по Невскому проспекту Перетц сдал за хорошие деньги. В 1799–1801 гг. их занимал генерал от кавалерии граф Петр Алексеевич фон дер Пален, в то время занимавший пост военного губернатора Санкт-Петербурга. Рядом, в том же доме, проживал и сын графа, Петр Петрович. А что же семья самого Перетца?
Супруга Сара не поехала с мужем в Санкт-Петербург, оставшись с сыном и дочерью (Гирш и Цирла) в городе Шклове, что лежит в 35 километрах от Могилева. Только в 1803 г. его сын Гирш (Григорий) приехал к отцу. Позднее он станет декабристом, будет сослан в Сибирь, а после возвращения поселится в Одессе, где и умрет в возрасте 67 лет.
У Абрама Израилевича дела в Петербурге шли весьма и весьма успешно: император Павел I пожаловал ему в 1801 г. звание коммерции советника, а знакомства вывели на самый верх столичного общества. В своем доме он принимает многих представителей знати, но особенно близко сошелся с графом И.П. Кутайсовым, М.М. Сперанским и Е.Ф. Канкрином. Перетц продолжает успешно вести дела и вкладывает огромные средства в кораблестроение, но начавшаяся Отечественная война 1812 г. приводит его к банкротству, и все имущество коммерсанта уходит на аукционе за 1,5 миллиона рублей. С другой стороны, общий долг казны перед Перетцем за поставку продовольствия действующей армии превышал 4 миллиона рублей, но взыскать их не представлялось возможным.
В 1811 г. Абрам Израилевич женится по второй раз – первая его жена уже умерла к этому времени. Избранницей становится лютеранка Каролина де Сомбр, а вскоре и сам Перетц переходит из иудаизма в лютеранство. Этот брак оказался более счастливым и обильным на потомство – Перетцы имели четырех сыновей и пять дочерей. Умер А.И. Перетц в 1833 г., но из дома на Невском проспекте он выехал задолго до своей кончины – в 1806 г., продав здание потомственному почетному гражданину купцу Андрею Ивановичу Косиковскому.
Наконец-то дом приобрел хозяина на долгое время, и смена собственников остановилась на более чем 50 лет. С этого полувекового периода начинается слава дома Чичерина как литературного