Вскоре после возвращения со съезда Джугашвили надолго перебрался из Тифлиса в Баку. Этому предшествовало одно важное событие, происшедшее при его деятельном участии. 13 июня 1907 года на Эриванской площади Тифлиса среди бела дня было совершено нападение на почтовую карету и похищено 250 тыс. рублей, перевозившихся в местное отделение государственного казначейства. В ходе перестрелки было убито более 10 человек, в основном – случайных прохожих. Непосредственным руководителем экспроприации был С.М. Тер-Петросян (Камо). Эта экспроприация была категорически осуждена меньшевиками, потребовавшими исключения из партии всех, к ней причастных. Ведь съезд только что постановил отказаться от эксов, а большевики на это решение демонстративно наплевали. В результате Коба вынужден был покинуть Тифлис, где в местной социал-демократической организации резко преобладали меньшевики. Он вынужден был вместе с женой и ребенком в июле 1907 года перебраться в Баку, где влияние большевиков, хотя они и не были в большинстве, оставалось гораздо более сильным. В Баку работа социал-демократов велась в основном легально, и полиция всех знала в лицо. Здесь Джугашвили издавал газеты «Гудок» и «Бакинский пролетарий». В первом номере «Бакинского пролетария», вышедшем 20 июня 1907 года, еще до переезда Сталина в Баку, была опубликована его статья «Лондонский съезд Российской социал-демократической партии (записки делегата)». Она была подписана псевдонимом Коба Иванович. Так партийный псевдоним Сталина впервые появился в печати.
Осенью 1907 года Сталин предложил возродить Бакинскую боевую дружину. К тому времени в руководстве Бакинского комитета уже преобладали большевики. Из меньшевиков эту идею поддержал Андрей Януарьевич Вышинский, предложивший «достать» оружие у полиции и жандармов (попросту – купить). По данным Бакинского охранного отделения, уже к 15 сентября 1907 года большевики потратили на эти цели около 80 тыс. рублей. С этого времени берет начало определенная близость Сталина и Вышинского, которой не помешала принадлежность к разным фракциям.
Одновременно Сталин не забывал и о легальных методах борьбы. Он руководит в Баку кампанией большевиков по выборам в III Государственную думу. 22 сентября 1907 года в Баку на собрании уполномоченных от рабочей курии был принят «Наказ социал-демократическим депутатам».
Вскоре Кобу постигла тяжелая утрата. 22 ноября 1907 года от брюшного тифа умерла его жена Като. Она скончалась в Тифлисе на руках у мужа. Екатерину Сванидзе похоронили на Кукийском кладбище святой Нины. Восьмимесячного Яшу забрала к себе