Проиграли торпедовцы и Кубок СССР, уступив в финальной игре донецкому «Шахтеру» 1:3. За это поражение из «Торпедо» был уволен ее тренер Виктор Маслов. Что не могло не сказаться на игре его бывших подопечных, которые очень уважали своего наставника. А тут еще и шлейф «пьющей» команды, который зацепился за «Торпедо» в те годы. К тому же и интриги в высших сферах тоже не стоит сбрасывать со счетов – новый суперклуб в Москве был никому не нужен (естественно, кроме самих зиловцев).
Короче, в чемпионате 1962 года торпедовцы скатились вниз турнирной таблицы – на 7-е место (чемпионом стал московский «Спартак», обогнавший торпедовцев на 10 очков – 32 против 22). После этого в команде случился раскол – ее покинули лучшие игроки: Слава Метревели (перешел в тбилисское «Динамо»), Леонид Островский (в киевское «Динамо»), а Геннадий Гусаров (лучший бомбардир команды, забивший в сезоне 1962-го 22 мяча) влился в ряды московского «Динамо».
Вполне мог бы покинуть «Торпедо» и Воронин, благо предложений от разных клубов ему поступало предостаточно. Но он был патриотом своей команды и категорически отметал любые предложения о переходе в другую команду. Заводское начальство за это его отблагодарило – предоставило трехкомнатную квартиру недалеко от стадиона «Торпедо», на Автозаводской улице.
Однако исход игроков не мог не сказаться на игре торпедовцев. В результате в чемпионате 1963 года, в котором приняли участие 20 команд, «Торпедо» финишировало десятым, отстав от чемпиона (московского «Динамо») на 15 очков (40 против 55). Однако в список 33 лучших футболистов вошли сразу трое торпедовцев: Воронин, Иванов и Шустиков. Причем все – под номером 1.
Перед чемпионатом 1964 года «Торпедо» пополнилось большим количеством исполнителей, которые должны были заменить прежних лидеров. С новыми игроками и тренером (Виктором Марьенко) команда снова заиграла мощно и вплоть до последних матчей боролась с тбилисским «Динамо» за чемпионство. Причем «Торпедо» имело реальный шанс обогнать тбилисцев, но фортуна от них отвернулась. В матче против киевских динамовцев, когда на табло был счет 1:1, в ворота динамовцев был назначен пенальти. К мячу подошел лидер команды Валентин Иванов. Удар – вратарь Банников отбивает мяч. В итоге «Торпедо» и «Динамо» (Тбилиси) набрали по 46 очков и должны были проводить «золотой матч» за первое место, который был сыгран на нейтральном поле – в Ташкенте, на стадионе «Пахтакор». Основное время завершилось вничью 1:1, но в дополнительное время «Торпедо» пропустило три гола – 1:4.
Валерий Воронин тогда провел один из самых своих блестящих сезонов. По словам Э. Стрельцова:
«…Он был уже по-своему даже выше Кузьмы (так одноклубники звали Валентина Иванова, у которого было отчество Кузьмич. – Авт.). Я бы не сказал, что Иванов стал играть с годами хуже,