Судебный следователь Захаревич, опросив под протокол свидетелей и обследовав место преступления, усердно взялся за поиски. Через пару дней в губернском городе появились печатные прокламации от партии социалистов-революционеров, в коих говорилось, что Гладышев был приговорён эсерами к смерти за репрессии в Рославльском уезде, которыми он руководил в конце 1905 года. Исполнил же приговор один из членов летучего отряда боевой дружины северо-западного областного комитета партии эсеров. Смоленское жандармское управление под руководством генерал-майора Громыко в ход следствия не вмешивалось, предпочитая вести какие-то свои тихие игры.
23 марта на Большой Благовещенской улице на окне кондитерской Ранфта была взорвана петарда. Прибежавший на место городовой Алексей Кондратьев задержал, показавшегося ему подозрительным, ученика 4-го класса гимназии Мечислава Аниховского. У него был изъят револьвер «Бульдог», заряженный тремя боевыми патронами. В полицейской части Аниховский повинился и назвал имена своих сообщников. По нескольким адресам в городе полицией были произведены обыски, изъята нелегальная литература, прокламации социалистов-революционеров и холодное оружие. Но привязать вскрытую ячейки эсеров к убийству Гладышева не получилось, у всех членов группы на момент совершения преступления было железное алиби. Захаревич показал свидетелям все имевшиеся у полиции фотографические карточки членов партии эсеров, но ни в ком не опознали убийцу.
Следствие продолжалось более полутора лет, после чего следователь Захаревич запросил у прокурора окружного