Ситуация изменилась лишь через полгода. По-видимому, откладывать возвращение в Москву родственника царя, И.М. Милославского, стало просто невозможно. Появление же его при дворе сломало сложившееся равновесие. Пожалованный в бояре, Иван Михайлович претендовал на власть и жаждал отмщения Матвееву и Нарышкиным. Самым естественным для придворных партий в этой ситуации оказалось пожертвовать Матвеевым. Уход его с политической арены успокаивал Милославских и одновременно освобождал для них приказы. В то же время дума вовсе не хотела пролития крови «великого Артемона». 4 июля 1676 года Матвеев был назначен воеводой в далекий, захолустный сибирский городок Верхотурье. Можно лишь только догадываться, что пережила по этому поводу царица Наталья Кирилловна. Конечно, здесь было и сочувствие ставшему почти родным Матвееву, и страх за себя.
Но оказалось, что настоящие страхи еще впереди. Такое падение любимца Алексея Михайловича никак не устраивало мстительного И.М. Милославского. Ему надо было полное крушение своего недруга. В думе начались борьба за Матвеева и… обуздание его гонителя. Ю.А. Долгоруков поднимал вопрос о возвращении опального канцлера. Милославские, которые нашли поддержку у Б.М. Хитрово, выступали против. При этом они искали способ, с помощью которого можно было навсегда заставить замолчать защитников Артамона. Так появились доносы о чернокнижии Матвеева.
Чернокнижие, магия, колдовство относились к тем обвинениям, которые вызывали животный страх. Здесь все было непонятно и одновременно понятно – всякое недомогание, болезнь разом получали объяснение и надежду на исцеление, ведь против происков нечистого, с которым связано чернокнижие, существовала всемогущая божественная помощь. Для Матвеева обвинение в чернокнижии было тем более опасно, что еще совсем недавно он отвечал за здоровье государя и его семейства. Может, оттого постоянно и недомогает нынешний государь, что прежний глава Аптекарского приказа не желал ему добра?
Перед таким обвинением даже Долгоруким пришлось умолкнуть. В мае 1677 года последовал новый приговор: Матвеев отправлялся уже не на воеводство, а в ссылку в Пустозерск – место, где под всполохами северного сияния сходились и вели нескончаемые богословские споры знаменитые «пустозерские узники»: протопоп Аввакум и его товарищи.
Опала настигла и Нарышкиных. Братья царицы, Иван и Афанасий, были обвинены в намерении отравить Федора Алексеевича и приговорены к смертной казни, которую царь заменил ссылкой. Пострадали и другие родственники Натальи Кирилловны. Однако полного торжества у Милославских все же не получилось. Нашлись защитники, которые не допустили того, чтобы имя Матвеева было вычеркнуто из боярских списков.