Оказавшись в ссылке, в далеком селе Нижняя Уда Иркут ской губернии, Коба тосковал и по теплу, и по кипучей революционной деятельности. В ноябре 1903 года он совершил первую попытку побега, но, отморозив уши и нос, вернулся в Уду. Однако уже 5 января 1904 года в полицейском протоколе было записано, что «ссыльный Джугашвили бежал». Коба проехал по всей России с поддельными документами на имя русского крестьянина, и его никто не задержал. Он вернулся в Тифлис, где оставался на нелегальном положении четыре года. В официальной биографии сказано, что за это время его ни разу не арестовывали, однако сохранились некоторые документы, подтверждающие обратное: «В 1906 году он был арестован и бежал из тюрьмы», – значится в составленной в 1911 году начальником Тифлисского охранного отделения И. Пастрюлиным справке об И. Джугашвили. Следовательно, он все-таки был арестован, но сумел бежать и опять вернулся на Кавказ, как будто игнорируя опасное пребывание там.
После смерти своей первой жены 25 ноября 1907 года Коба еще более страстно отдался революционной борьбе, но в это время появились слухи о том, что он провокатор. Затем произошел очередной арест Сталина, во время которого полиции удалось захватить документы, явно свидетельствующие о «его принадлежности к запрещенному Бакинскому комитету РСДРП». Решение жандармского управления в связи с обнаружением подобного рода документов выглядит по крайней мере странным: Кобу приговорили всего к трем годам каторжных работ, причем с отправкой на прежнее место ссылки. Затем срок ссылки уменьшился до двух лет. По пути следования в Сольвычегодск, находясь в камере Вятской тюрьмы, Сталин заболел тифом, но чудом выжил. 24 июня 1909 года он совершил удачный побег из Сольвычегодска, не побоявшись вновь вернуться на Кавказ.
На свободе Сталин пребывал недолго: 23 марта 1910 года его снова арестовали. На этот раз следствие продолжалось три месяца, после чего Кобу приговорили к ссылке все в тот же Сольвычегодск. Хотя по заключению помощника начальника Бакинского жандармского управления Н. Гелимбатовского отчаянного революционера следовало наказать более строго: «Ввиду упорного его участия в деятельности революционных партий, в коих он занимал весьма видное положение, ввиду двухкратного его побега принять меру взыскания – высылку в самые отдаленные места Сибири на пять лет».
После окончания ссылки в Сольвычегодске Коба, лишенный права выезда в столицу, выбрал местом своего жительства Вологду. В это время Ленин неоднократно призывал его вернуться к активной работе, о чем сам Коба писал в одном из писем, которые, кстати, проверялись полицией. «Ильич и К° зазывают в один из двух центров (Москву или Петербург) до окончания срока.