В письме от 22 марта 1914 года к Л. И. Бессер «из заполярных краев» Яков Свердлов так описывает обстановку в Курейке: «Устроился я на новом месте значительно хуже. Одно то уже, что я живу не один в комнате. Нас двое. Со мною грузин Джугашвили, старый знакомый, с кот[орым] мы уже встречались в ссылке другой. Парень хороший, но слишком большой индивидуалист в обыденной жизни. Я же сторонник минимального порядка. На этой почве нервничаю иногда. Но это не так важно. Гораздо хуже то, что нет изоляции от хозяев. Комната примыкает к хозяйской и не имеет отдельного хода. У хозяев – ребята. Естественно, торчат часами у нас. Иногда мешают».
В родном селе отца Диди-Дило жила красавица Екатерина Сванидзе. Иосиф Джугашвили влюбился в нее, как говорится, без памяти. В июне 1906 года они поженились. Екатерина Георгиевна настояла, чтобы их брак был церковным. Венчал их одноклассник Джугашвили по семинарии. Мать полюбила добрую и работящую супругу сына, радовалась, что и он к ней относится с нежностью и заботливостью. В 1907 году у них родился сын Яков.
Екатерина разделяла революционные настроения мужа. Распространяла ленинскую газету «Искра». Хотя недруги Сталина пишут, что она была просто портнихой, не понимавшей мужа.
Маленький Яков был для Екатерины (Кэто) все, а Иосиф «как полубог»: романтически воспринимала его деятельность революционера-подпольщика. Счастливы они были менее двух лет. Екатерина Семеновна Джугашвили скончалась от воспаления легких (есть утверждения, что от тифа). Смерть молодой любящей жены потрясла Иосифа Виссарионовича. Двухлетнего Яшу отдали на воспитание близкой родственнице – А. С. Сванидзе. Семь арестов, пять побегов из тюрем, ссылок, разумеется, разлучали Сталина с Яковом.
До четырнадцати лет Яков воспитывался в семье родной тети А. С. Сванидзе. В 1921 году Якова привезли в Москву. У Иосифа Виссарионовича была новая семья, родился сын Василий. Надежда Сергеевна тепло приняла старшего сына мужа. Отец был более чем суров, а узнав, что тот тайно покуривает, лупил его. Первое время Якову трудно давалась учеба в русской школе – плохо понимал по-русски. Но он был усидчив и трудолюбив. Окончив среднюю школу, без посторонней помощи успешно сдал экзамены в МИИТ. И лишь тогда, когда Сталин поинтересовался, правда ли, что Яков Джугашвили зачислен в институт, ректор узнал, чей это сын. В институте Якова любили за простоту и справедливость. Он проявил себя способным шахматистом, активным общественником.
Едва Якову исполнилось девятнадцать лет, он решил жениться. Родные убеждали, что семью заводить надо после окончания института, крепко встав на ноги. Сталин не одобрил и его выбор невесты. В знак протеста Яков пытался застрелиться, хотя тяжело ранил себя, но остался жив, долго лечился. Яков увлекся балериной Юлией Мельцер, намного старше его и уже бывавшей замужем.