Познакомившись с подпольными марксистскими кружками, Сосо убедился в необходимости изменить характер занятий в кружке своих товарищей по семинарии, но сразу же натолкнулся на противодействие некоторых из них. Тогда на одном собрании он предложил дополнить программу занятий экономическими и социалистическими науками, изучать теорию социализма и историю рабочего движения. Большинство товарищей согласились с ним, и к песне 1896 года в семинарии выделилась отдельная группа, руководимая Сосо. Была собрана нелегальная библиотека, стал выходить рукописный журнал на грузинском языке, где трактовались спорные вопросы, обсуждаемые на страницах «Квали». Так как собираться в семинарии и хранить HIM запрещенные книги из-за слежки начальства было невозможно, участники кружка за пять рублей в месяц сняли комнату, где и собирались один-два раза в неделю, в послеобеденные часы, до переклички. Сюда же была перенесена и библиотечка.
Сосо знакомится с «Коммунистическим манифестом» и другими доступными российскому читателю произведениями Маркса и Энгельса, читает Плеханова. Чуть позднее, в конце 90-х годов, к нему попадают работы Тулина (В. И. Ленина), направленные против народничества, «легального марксизма» и «экономизма». То, что он узнает из чтения этих книг, настолько соответствует его собственным мыслям, его личному опыту, что возникает страстное желание познакомиться с этим человеком, мыслящим столь логично и всесокрушающе.
Читал Сосо и художественную литературу, брал ее в так называемой «дешевой» библиотеке, открывшейся в 1888 году в Тифлисе. Покупать книги он не мог – не было денег, а в дореволюционной России книги, особенно научные, стоили недешево. В букинистических же магазинах было так много интересного! Выручала память: часами простаивал семинарист в букинистических лавках, выхватывая интересующие его места, закрепляя их в памяти.
Семинарское начальство, конечно, не могло не заметить, что ученики что-то потаенно читают, оживленно спорят. В семинарии появились доносчики. Записи в Кондуитном журнале приобретают теперь иной характер.
Ноябрь 1896 года: «Джугашвили, оказалось, имеет абонементный листок из Дешевой библиотеки, книгами которой он пользуется. Сегодня я конфисковал у него сочинение В. Гюго «Труженики моря», где нашел и названный листок». На донесении пометка: «Наказать продолжительным карцером. Мною был уже предупрежден по поводу посторонней книги – «93-й год» В. Гюго».
Март 1897 года: «В 11 часов вечера мною отобрана у Джугашвили Иосифа… книга «Литературное развитие народных рас» Летурно, взятая им из «дешевой