Домик Марфы Литвинцевой в Новой Уде не сохранился, однако и по сей день остается в неплохом состоянии большой деревянный дом – здание бывшей пересыльной тюрьмы, в котором Сталина держали до определения места проживания. В двух его комнатах-камерах в 1939—1961 гг. располагался музей. По воспоминаниям иркутянки Лидии Ивановны Тамм (направленной во время войны в поселок Усть-Уда для работы в райисполкоме), проезжая мимо места первой ссылки Сталина, она думала: «В Новой Уде теперь музей Сталина, мы обязательно там побываем. Наверное, и народ здесь хороший. Такие великие люди, как Сталин, не могли не наложить свой отпечаток на окружающих» [188, с. 437]. Что ж, мысль эта не лишена оснований: хотя Сталин пробыл в Новой Уде менее полутора месяцев, память о нем живет в этих краях и сегодня. В краеведческом музее, открытом в 1993 г. в поселке Усть-Уда, пребыванию Сталина в районе посвящена отдельная экспозиция. Основанное в Усть-Удинском районе в 2000 г. крестьянское кооперативное хозяйство носит имя Сталина. Местные энтузиасты пытаются возродить также и музей в Новой Уде.
По возвращении на Кавказ Сталин примкнул к большевикам, хотя Грузия в то время была цитаделью меньшевизма. В 1905 г. на IV большевистской конференции Кавказского союза РСДРП Коба был избран делегатом на I конференцию РСДРП в Таммерфорсе (Финляндия), где он впервые встретился с Лениным. Через год, на IV съезде РСДРП в Стокгольме он выступит его оппонентом по аграрному вопросу: если Ленин предлагал национализацию земли, то Коба отстаивал передачу ее крестьянам. Факт, свидетельствующий о самостоятельности его мышления, выявившейся с первых шагов его революционной деятельности: он хорошо понимал, что значит земля для крестьянина. Придет время, и аграрный вопрос будет разрешен им в оптимальной форме: национализированная к тому времени земля будет передана в вечное и бесплатное пользование производственным крестьянским коллективам – колхозам.
Вернувшись из Финляндии в первых числах 1906 г., он становится фактическим руководителем большевистских организаций Закавказья. В мае 1907 года участвует в V съезде РСДРП в Лондоне. В марте 1908-го его опять арестовывают и в феврале 1909 года ссылают в город Сольвычегодск Вологодской губернии. Но через четыре месяца он совершает побег и в июле возвращается в Баку. В марте 1910 года в связи с подготовкой всеобщей забастовки на бакинских нефтепромыслах его в третий раз арестовывают и после шести месяцев тюрьмы отправляют в прежнюю сольвычегодскую ссылку. В начале 1911 года он вновь предпринимает побег, но, добравшись до Вологды, вынужден по какой-то причине возвратиться на место ссылки и покидает его только по окончании срока,