Тогда Свердлов решил разыграть комедию. Деньгами ему товарищи по партии все-таки помогли, но только на проезд до Нарыма. И 22 июня он по почте отправил томскому инспектору письмо – что сошел с парохода «Колпашевец» купить что-нибудь на дорожку, «случайно опоздал» и со следующим пароходом «Василий Плещеев» отбывает «в город Нарым, где и явится к местным властям». Конечно, власти на такое объяснение не клюнули. Осерчали. На следующей же пристани, в Колпашево, его сняли с парохода и посадили к каталажку в селе Тогур. Доложили томскому губернатору Грану, и поскольку за Свердловым уже числился один побег и попытка второго, он сделал единственное, на что имел право. Назначил для поселения самое отдаленное и глухое место, чтоб выбраться потруднее было – село Максимоярское (ныне Белый Яр) на притоке Оби реке Кеть.
В Тогуре содержали Якова Михайловича вольготно – что такое сельский околоток с единственной камерой? Местные ссыльные к нему толпами в гости ходили. Он им о положении в России рассказывал, желающих бежать консультировал, связи давал. И просил подготовить ему самому побег из Максимоярского. Но сделать это оказалось не так-то просто. Туда добирались на лодках, по берегам – глухая тайга и болота. Уже и осень была на носу. Вскоре, оценив ситуацию, Свердлов отписал товарищам, что зимой бежать нечего и думать – это можно было сделать только на лыжах, а на лыжах он не ходок. 600 верст по зимней тайге не шутка, пропадешь ни за грош. Поэтому, мол, бежать надо только летом, на лодках…
Максимоярское, или, как его еще называли, Максимкин Яр, было селом, затерянным в диких болотистых местах, оторванным от мира. Сюда и товары редко завозились, местное население порой страдало от перебоев с продуктами, питалось картошкой, черным хлебом и выловленной в реке рыбой. Но для Свердлова самым тяжелым фактором стало одиночество. В данный момент он здесь оказался единственным ссыльным. Правда, он и с местными жителями сразу перезнакомился, принялся налаживать приятельские отношения. Без дела его натура не могла. Хватался за все подряд. Взялся давать уроки хозяйке дома и еще одной девице, готовя их «на учительниц», усердно лечил остяков (не имея никакого медицинского образования) и прослыл среди них «доктором», задумал даже организовать самодеятельность и поставить с молодежью чеховского «Медведя».
Интересно отметить, что максимоярский священник о. Павел (Покровский) был первым, кто увидел в энергичном и контактном Свердлове нечто нехорошее. Черное, нечистое. А ведь Яков Михайлович был тут далеко не первым «политическим». И, вроде, никакой агитации не вел, никакой революцией крестьян не соблазнял. Но почему-то выделил его о. Павел. В проповедях предостерегал людей от общения с ним, называл его «искусным ловцом человеков в сети диавола». Ну да на открытые изобличения «товарищ Андрей» ответил по-своему. Подговорил неграмотных старшин