После смерти Петра Великого судьба его переменилась. Меншиков, опасаясь его влияния на императора Петра II, нашел способ удалить его от двора. Ганибал был переименован в майоры Тобольского гарнизона и послан в Сибирь с препоручением измерить Китайскую стену. Ганибал пробыл там несколько времени, соскучился и самовольно возвратился в Петербург, узнав о падении Меншикова и надеясь на покровительство князей Долгоруких, с которыми был он связан. Судьба Долгоруких известна. Миних спас Ганибала, отправя его тайно в ревельскую деревню, где и жил он около десяти лет в поминутном беспокойстве. До самой кончины своей он не мог без трепета слышать звон колокольчика. Когда императрица Елисавета взошла на престол, тогда Ганибал написал ей евангельские слова: «Помяни мя, егда приидеши во царствие свое». Елисавета тотчас призвала его ко двору, произвела его в бригадиры и вскоре потом в генерал-майоры и в генерал-аншефы, пожаловала ему несколько деревень в губерниях Псковской и Петербургской, в первой Зуево, Бор, Петровское и другие, во второй Кобрино, Суйду и Тайцы, также деревню Раголу, близ Ревеля, в котором несколько времени был он обер-комендантом. При Петре Ш вышел он в отставку и умер философом (говорит его немецкий биограф) в 1781 году, на 93 году своей жизни. Он написал было свои записки на французском языке, но в припадке панического страха, коему был подвержен, велел их при себе сжечь вместе с другими драгоценными бумагами.
В семейственной жизни прадед мой Ганибал так же был несчастлив, как и прадед мой Пушкин. Первая жена его, красавица, родом гречанка, родила ему белую дочь. Он с нею развелся и принудил ее постричься в Тихвинском монастыре, а дочь ее Поликсену оставил при себе, дал ей тщательное воспитание, богатое приданое, но никогда не пускал ее себе на глаза. Вторая жена его, Христина-Регина фон Шеберх, вышла за него в бытность его в Ревеле обер-комендантом и родила ему множество черных детей обоего пола.
Старший сын его, Иван Абрамович, столь же достоин замечания, как и его отец. Он пошел в военную службу вопреки воле родителя, отличился и, ползая на коленах, выпросил отцовское прощение. Под Чесмою он распоряжал брандерами и был один из тех, которые спаслись с корабля, взлетевшего на воздух. В 1770 году он взял Наварин; в 1779 выстроил Херсон. Его постановления доныне уважаются в полуденном краю России, где в 1821 году видел я стариков, живо еще хранивших его