Только в январе 1719 года Гагарин был уволен от должности и заключён под стражу, о чём говорила специальная инструкция: “Его царское величество изволил приказать о нём, Гагарине, сказывать в городах Сибири, что он, Гагарин, плут и недобрый человек, и в Сибири уже ему губернатором не быть, а будет прислан на его место иной”.
При этом Петр первым делом арестовал Волконского, давшего похвальный отзыв о Гагарине. На упреки царя в обмане тот отвечал, что действовал по просьбе царицы, ибо не хотел поссорить августейшую чету. “Скотина! – парировал государь. – Ты бы нас не поссорил, я просто задал бы своей жене хорошую трепку! Она ее все равно получит, а вот ты будешь повешен”.
Когда китайские таможенные чиновники прознали об опале могущественного губернатора Сибири, они обратились к царю с просьбой о его пощаде. К ним присоединились и обретающиеся там пленные шведы, которые восхваляли его великодушное к ним отношение.
Да и Пётр, памятуя о своей давней приязни к Матвею Петровичу, не спешил с приговором. Граф фон Бассевич написал: “Не желая подвергать его всей строгости законов, царь постоянно отсрочивал его казнь и для отмены её не требовал от него ничего, кроме откровенного во всём сознания. Под этим условием, ещё накануне его смерти, он предлагал возвращение ему его имущества и должностей. Но несчастный князь, против которого говорили показания его собственного сына и который выдержал уже несколько пыток кнутом, ни в чём не сознавшись, поставил себе за честь явиться на виселицу с гордым и нетрепетным челом”. И только тогда царь понял: “неслыханное воровство” и упорство