В 1912 году Генриха Ягоду задержали в Москве: будучи евреем, он не имел права жить в Москве и поселился там по подложному паспорту, оформленному на имя некого Галушкина у своей сестры Розы – члена партии анархистов. Жандармы отметили, что молодой человек имел намерение перейти в православие и устроиться на работу в старой столице. Как и его отец, он сумел выйти «сухим из воды». Суд приговорил его к двум годам ссылки в Симбирск, где у деда был свой дом.
Амнистия по случаю трехсотлетия дома Романовых позволили Генриху Ягоде в 1913 году не только вернуться из ссылки, но и поселиться в Петербурге. Для этого ему пришлось принять православие и формально отказаться от иудаизма. Хотя теперь у него появилась новая вера – коммунизм.
Сложно сказать, сам ли он примкнул к большевикам или надоумили отец с братьями, но с осени 1913 года он трудился статистиком и сотрудничал с легальным партийным журналом «Вопросы страхования». В этом ему помог троюродный брат Яков Свердлов.
В 1915 году Генриха Ягоду мобилизовали на войну. В отличие от своего брата Льва Генрих не стал демонстрировать «пацифистских» убеждений. Он дослужился до ефрейтора 20-го стрелкового полка 5-го армейского корпуса, а осенью 1916 года был ранен и демобилизован.
Вернувшись в Петроград, с головой ушел в революцию, работал в военной организации большевиков и Петроградском совете, поучаствовал и в захвате власти в октябре 1917 года в Москве. С ноября 1917 года по апрель 1918 года – ответственный редактор газеты «Крестьянская беднота». А затем в жизни скромного статистика и журналиста произошел кардинальный перелом. Новой бюрократии требовались грамотные делопроизводители, а родство и тесное знакомство с председателем ВЦИК Яковом Свердловым позволяли рассчитывать на хорошую карьеру. Двадцатишестилетнего Генриха Ягоду в апреле 1918 года устроили управляющим делами Высшей военной инспекции – он ведал демобилизацией старой армии, выезжал на многочисленные в 1918 году фронты. В сентябре 1919 года он лишился этого поста, но без работы сидел недолго. Молодого трудоголика приметил Феликс Дзержинский – в ноябре 1919 года Генриха Ягоду назначили управделами Особого отдела ВЧК. Управлять делами ему определенно нравилось – меньше чем через год он стал отправлять ту же должность в масштабах всея Чека. Тогда же он стал членом коллегии ВЧК. В январе 1921 года его назначили заместителем начальника Особого отдела ВЧК-ГПУ. В марте 1922 года он занял аналогичную должность, но уже в Секретно-оперативном управление ВЧК-ГПУ-ОГПУ СССР (в июле 1927 года он станет начальником этого управления и пробудет на этом посту до 1929 года). Одновременно, с июня 1922 года по октябрь 1929 года он возглавлял Особый отдел ГПУ РСФСР-ОГПУ СССР. С сентября 1923 года – 2-й заместитель Председателя ГПУ-ОГПУ СССР. Затем он стал 1-м заместителем председателя ОГПУ, а в июле 1931 года просто заместителем председателя ОГПУ. Пост наркома внутренних дел