Как все Ганнибалы, Петр Абрамович обладал недурной наружностью, лицом был смугл, умел расположить к себе общительностью и веселостью, но нрав имел горячий, непокладистый, не без самодурства.
В 1777 году он женился на дочери казанского помещика, коллежского советника Григория Григорьевича фон Данненштерна Ольге Григорьевне. За женою получил в приданое имения в Казанской и Саратовской губерниях.
По-видимому, в Казани Петр Абрамович служил, командовал какой-то артиллерийской частью. Граф А. Г. Бобринский в августе 1777 года писал в дневнике о встречах с Ганнибалом в Казани. 10 августа: «…играла полковая артиллерийская музыка, г-н полковник Ганнибал – негр, брат того, что управляет в Херсоне, человек очень веселый; он был с женою». 15 августа: «Ганнибал пригласил нас в лагерь на артиллерийские маневры». 16 августа: «После обеда мы ездили к Ганнибалу смотреть его полк и видели, как бомбардировали и брали нарочно им выстроенный городок. Тут присутствовала вся Казань, был и путешественник-англичанин»[30].
Доверенность на представление его интересов при разделе имения после смерти отца «артиллерии полковник Ганнибал» заверял в «Казанского наместничества палате гражданского суда».
С Ольгой Григорьевной П. А. Ганнибал имел троих детей – сына Вениамина и дочерей Христину и Александру. Однако «и сей брак был несчастлив». Прожив с семьей девять лет, Петр Абрамович оставил ее и, по выражению Н. А. Белозерской, «поселился в своем наследственном псковском имении, доставлявшем ему возможность безбедного и праздного существования; здесь он зажил жизнью большинства тогдашних провинциальных дворян».
Предполагали, что разрыв с семьей в это время был связан с его увлечением Надеждой Гавриловной Лихачевой, дочерью небогатого псковского помещика, отставного инженер-поручика Гаврилы Анатольевича Лихачева, доброго знакомца братьев Ганнибалов (именно он представлял интересы и Петра, и Ивана Абрамовичей при разделе имения в 1782 году; через него впоследствии получала от мужа содержание Ольга Григорьевна). Петр Абрамович имел дела и с сыном Г. А. Лихачева Петром Гавриловичем – тогда армейским офицером, а впоследствии генерал-майором, героем Отечественной войны, скончавшимся от ран, полученных в Бородинском сражении.
Из деревни Петр Абрамович послал жене письмо, в котором, по ее словам, сообщал свое «желание», чтобы она «к успокоению его не жила более с ним вместе, а получала бы от него с детьми положенное им содержание». Ольга Григорьевна согласилась и поселилась с детьми в принадлежавшей Петру Абрамовичу мызе Елицы под Петербургом. Но хозяйкой здесь она себя не чувствовала – мызой управлял зять Петра Абрамовича Адольф Карпович Роткирх, который относился к ней недружелюбно, во всем ее стеснял. «Содержание», назначенное ей мужем,