Со временем дом Абрикосовых все больше наполнялся детскими голосами. У Алексея Ивановича и Агриппины Александровны родилось 22 ребенка (10 мальчиков и 12 девочек), 17 из которых дожили до преклонного возраста. По мере увеличения семьи Абрикосовы переезжали во все более просторные дома, сначала на Лубянке, потом на Покровке.
Производство расширялось, а вместе с ним росла и общественная значимость будущего «конфетного короля». В 1852–1853 гг. А. И. Абрикосов избирался старшиной московских купцов 3-й гильдии, с 1860-х гг. стал членом Московского коммерческого суда и гласным Городской думы. К началу 1870-х гг. он уже был выборным от Московского купеческого общества, кавалером орденов св. Станислава и св. Анны III степени, купцом 1-й гильдии, крупным владельцем доходных домов, учредителем страхового общества «Якорь» и Московского купеческого общества взаимного кредита, кавалером трех золотых медалей «За усердие», членом правления Московского учетного банка.
В 1873 г. кондитерская мастерская Абрикосова была преобразована в фабрику, которая стала крупнейшим московским механизированным кондитерским предприятием, выпускающим более 500 тонн продукции в год на общую сумму 325 тыс. рублей. В производстве использовались последние достижения науки и техники. В частности, на фабрике был установлен современный паровой двигатель мощностью 12 лошадиных сил.
Настало время приобщать к бизнесу старших детей, и Алексей Иванович направил московскому генерал-губернатору прошение, в котором написал: «Желаю передать принадлежащую мне фабрику в полном ее составе своим сыновьям Николаю и Ивану Алексеевичам Абрикосовым». Ниже была приписка: «Мы, нижеподписавшиеся, желаем приобрести фабрику А. И. Абрикосова, содержать и производить работу под фирмой «А. И. Абрикосов и сыновья».
В 1874 г. Алексей Иванович передал налаженное производство детям. А сам стал компаньоном в фирме «Братья К. и С. Поповы», организовавшей собственную торговлю чаем высших сортов. Поповы были знающими специалистами в этой области, но и Абрикосову предприимчивости и опыта было не занимать. По его инициативе чай, закупленный в китайском городе Ханькоу, стали перевозить не по сибирскому тракту, а морем, через Одессу. Поскольку «китайское серебро» – валюту для покупки чая – можно было приобрести только в обмен на «английское золото», то, по предложению Алексея Ивановича, было организовано специальное отделение фирмы в Лондоне, производившее эти банковские расчеты. Руководил ею третий сын Абрикосова, Сергей Алексеевич, который, к сожалению, рано умер. Смерть его была большим ударом для семьи, от которого она долго не могла оправиться.
Тем временем другие сыновья А. И. Абрикосова много и слаженно трудились, развивая кондитерское производство, совершенствуя ассортимент своих изделий. Помимо Николая и Ивана активное участие в работе фабрики