Несмотря на нужду в Париже и тяжелое ранение на войне, Ганнибал проходит курс артиллерийской школы в Меце и возвращается в Петербург профессором математики и фортификации. Он вывез из Парижа в Россию обширную французскую библиотеку в четыреста томов, составленную из книг не только по его специальности, но также по географии, истории, философии и литературе. В этом книжном собрании имелись сочинения Расина, Корнеля, Сирано де Бержерака, письма Фонтенеля, «Князь» Макиавелли, мемуары Брантома, философские трактаты Мальбранша, «Всемирная история» Боссюэ. Особенно широко были представлены работы по математике и военному делу.
Сам Ганнибал написал книгу об инженерном искусстве и составил мемуары на французском языке. Умирая, он оставил не только поместья, крепостных и формуляр с высокими чинами, но и многотомное книгохранилище, ценное собрание физических и механических инструментов, а главное – благодарную память о своей научной деятельности: известный мемуарист XVIII века Болотов отметил в своих записках «прекрасную геометрию и фортификацию Ганнибала». Это имя, очевидно, приобрело авторитетную репутацию не только в правительственных и военных кругах, но и в среде молодого поколения, стремящегося к знанию.
Жестокая школа жизни, пройденная Ибрагимом, сообщила некоторую суровость его характеру. Это в полной мере сказалось в его семейном быту.
В конце 1730 года в Петербурге Ганнибал встретился с красавицей девушкой, как полагают, гречанкой, дочерью капитана галерного флота Евдокией Андреевной Диопер. Ганнибал попросил ее руки и настоял на браке, несмотря на протесты красавицы. Обвенчавшись в начале 1731 года, он увез жену в маленький порт Пернов (в бухте Рижского залива). Вскоре он обвинил молодую женщину в намерении отравить его и «смертельными побоями и пытками» принудил ее дать об этом официальное показание. Несчастную заключили в тюрьму, а властный абиссинец сошелся с дочерью местного капитана Христиной Региной Шеберг, от которой имел нескольких детей. Когда пришла пора отдавать их в учение, Ганнибал обвенчался с Христиной и, пользуясь своими связями, добился убийственного приговора для первой жены, все еще томившейся в заключении: «Гонять прелюбодеицу по городу лозами, а прогнавши, отослать на прядильный двор на работу вечно». Пожизненное заключение ее могло бы узаконить второй брак Ганнибала. Но Евдокии Андреевне каким-то чудом удается вырваться в Петербург и подать челобитную в Синод. Ее освобождают на поруки, а дело поступает на новое рассмотрение. Затравленная женщина, живя в Петербурге, сходится с подмастерьем Академии наук и рождает дочь Агриппину; она послужила источником легенды о белом ребенке, рожденном женою Ибрагима, за что преступная мать была замучена в монастыре, – предание, волновавшее творческое воображение правнука. «Часто думал я об этом ужасном семейственном романе», – писал Пушкин в наброске предисловия к «Арапу Петра Великого».
Появление ребенка дает Ганнибалу основание ходатайствовать