Сергей рос в большой и дружной семье. Отец – Яков Петрович Ярыгин из мещан. Воспитывался в Касимовском уездном училище, где и окончил курс наук. В январе 1884 года был определен телеграфистом по найму на Касимовскую телеграфную станцию. Работа по тем временам интересная, технически сложная и ответственная, требующая специальных знаний. Мама Сергея – крестьянская девушка Татьяна Васильевна Ламина, жизнь посвятила семье. У них было пятеро детей. Первенец, сын Николай, родился в ноябре 1891 года, вторым был Сергей, дочь Мария 1895 года рождения, третий сын Петр родился в 1898 году и младший сын Дмитрий – в феврале 1904 года.
Отец всегда был примером для сыновей. Трудолюбивый, обстоятельный, последовательный, технически грамотный Яков Петрович продвигался по служебной лестнице собственным трудом и упорством. В октябре 1895 года его назначают начальником Шестинского почтового отделения. В феврале 1895 года Яков Петрович был произведен в коллежские регистраторы. В июле 1896 года он получил назначение начальником более крупного Запино-Починковского почтового отделения. В 1899 году был произведен в губернские секретари, а в июле 1902 года – в коллежские секретари. К сорока годам, в феврале 1905 года Якова Петровича назначают почтово-телеграфным чиновником IV разряда в Рязанскую почтово-телеграфную контору в чине 8 класса, то есть коллежского асессора. В следующем году он произведен за выслугу лет в титулярные советники. Личный дворянин Яков Петрович был награжден серебряной медалью в память Императора Александра III.
Как указано в «Формулярном списке о службе», хранящемся в Российском Государственном архиве ВМФ, титулярный советник Я.П. Ярыгин получал жалование 400 рублей, столовых денег 200 рублей, всего – 600 рублей.
В большой семье, где старшие помогали младшим, где авторитет родителей был непререкаем, на семейном совете решено было Сергею ехать учиться в Петербург в Морской Кадетский Корпус.
Возникает вопрос, почему в Морской Корпус не стал поступать старший брат Николай? Ответ кроется в том, что к моменту 14-летия старшего сына Николая Яков Петрович Ярыгин еще не выслужил чина титулярного советника, а значит, его старший сын не имел права поступать в Морской Кадетский Корпус, ибо туда принимали только сыновей офицеров, потомственных дворян и чиновников не ниже четвертого класса Табели о рангах. К 1907 году, когда среднему сыну Сергею исполнилось 14 лет, Яков Петрович уже имел чин титулярного советника. Отец подготовил все нужные бумаги и отвез сына в столицу.
Так началась служба 14-летнего Сергея Ярыгина на флоте.
Романтика морских путешествий, романтика неизведанного и непознанного, все – о чем писали Стивенсон и Киплинг, Жюль Верн и Капитан Марриэт – эти властители дум молодежи начала двадцатого века, особенно кадет Морского Корпуса, находило живой отклик в душе и мыслях Сергея Ярыгина… Ему грезились грозные, быстрые, непобедимые корабли, на высоких мостиках которых стоят офицеры, склонившись над картушками компасов, а до горизонта – открытое, безбрежное море… Впереди у кадета Ярыгина были годы