В Тогуре содержали Якова Михайловича вольготно – что такое сельский околоток с единственной камерой? Местные ссыльные к нему толпами в гости ходили. Он им о положении в России рассказывал, желающих бежать консультировал, связи давал. И просил подготовить ему самому побег из Максимоярского. Но сделать это оказалось не так-то просто. Туда добирались на лодках, по берегам – глухая тайга и болота. Уже и осень была на носу. Вскоре, оценив ситуацию, Свердлов отписал товарищам, что зимой бежать нечего и думать – это можно было сделать только на лыжах, а на лыжах он не ходок. 600 верст по зимней тайге не шутка, пропадешь ни за грош. Поэтому, мол, бежать надо только летом, на лодках…
Максимоярское, или, как его еще называли, Максимкин Яр, было селом, затерянным в диких болотистых местах, оторванным от мира. Сюда и товары редко завозились, местное население порой страдало от перебоев с продуктами, питалось картошкой, черным хлебом и выловленной в реке рыбой. Но для Свердлова самым тяжелым фактором стало одиночество. В данный момент он здесь оказался единственным ссыльным. Правда, он и с местными жителями сразу перезнакомился, принялся налаживать приятельские отношения. Без дела его натура не могла. Хватался за все подряд. Взялся давать уроки хозяйке дома и еще одной девице, готовя их «на учительниц», усердно лечил остяков (не имея никакого медицинского образования) и прослыл среди них «доктором», задумал даже организовать самодеятельность и поставить с молодежью чеховского «Медведя».
Интересно отметить, что максимоярский священник о. Павел (Покровский) был первым, кто увидел в энергичном и контактном Свердлове нечто нехорошее. Черное, нечистое. А ведь Яков Михайлович был тут далеко не первым «политическим». И, вроде, никакой агитации не вел, никакой революцией крестьян не соблазнял. Но почему-то выделил его о. Павел. В проповедях предостерегал людей от общения с ним, называл его «искусным ловцом человеков в сети диавола». Ну да на открытые изобличения «товарищ Андрей» ответил по-своему. Подговорил неграмотных старшин четырех остяцких родов и от их имени написал донос на священника. Дескать, пьянствует, служит плохо, остяков обижает. А вместо подписей старшины поставили