Только в апреле 1819 года разразилась над скопцами первая буря. Какой-то адъютант графа Милорадовича донес своему начальнику на скопцов; произвели следствие, попались в распространении секты несколько незначительных скопцов, а «сильные мира сего» остались нетронутыми. Через несколько месяцев по высочайшему повелению Селиванова постили директор Департамента Народного Просвещения Попов и еще другой чиновник, но уехали от него устыженные, пятясь к выходным дверям задом и повторяя: «Господи! Если бы не скопчество, то за таким бы человеком пошли бы полки-полками». Зачем был послан Попов и о чем он разговаривал с ересиархом – неизвестно, но из этого факта мы снова видим, что Селиванов был человек далеко не дюжинный, даровитый, обладавший замечательным даром слова, а не «изувер и невежда», как желают обрисовать его некоторые исследователи раскола.
Как бы то ни было, но в силу каких-то обстоятельств в воззрениях правительства на скопцов произошел некоторый переворот, и в феврале 1820 года был высочайше учрежден особый комитет по делам о скопцах. Ночью, 7 июля 1820 года, Кондратий Селиванов был схвачен, посажен вместе с следственным приставом Путвинским в коляску и выслан из Петербурга…
Того же года июля 17 дня бывший в то время настоятель Суздальского Спасо-Евфимиева монастыря, он же и заведующий арестантским при том монастыре отделением, архимандрит Парфений получил от управляющего Министерством Внутренних Дел графа Кочубея секретное отношение от 7 июля за №140 о том, что «по высочайшему повелению отправлен из С.-Петербурга, под присмотр его – архимандрита, старик, начальник секты скопцов, который и будет доставлен от правящего должность Владимирского гражданского губернатора. А каким образом должно будет обходиться с сим человеком, о том препровождается – де у сего инструкция».
Вслед затем архимандрит получил от временно управлявшего губернией председателя Владимирской уголовной палаты Зузина копию с предписания, присланного