С назначением 25 ноября 1938 года Л. П. Берии на должность народного комиссара внутренних дел СССР В. С. Абакумов с декабря 1938 года исполнял обязанности начальника, а 27 апреля 1939 года был утверждён в должности начальника управления НКВД по Ростовской области. Во время допросов применял свою физическую силу для получения признательных показаний от подследственных.
3 февраля 1941 года указом Президиума Верховного совета СССР Народный комиссариат внутренних дел был разделён на непосредственно НКВД (нарком – Л. П. Берия), и НКГБ (нарком – В. Н. Меркулов). В это же время Абакумов был назначен на должность заместителя народного комиссара внутренних дел СССР и начальника Управления Особых отделов НКВД СССР, которое в июле 1943 года было преобразовано в СМЕРШ. В апреле 1943 года Виктор Семёнович Абакумов был назначен на должность начальника Главного управления контрразведки «СМЕРШ» и заместителя народного комиссара обороны. «СМЕРШ» оказался наиболее эффективной контрразведывательной структурой Второй мировой войны. Деятельность немецкой агентуры в советском тылу была практически парализована. За годы войны были нейтрализованы более 3500 диверсантов и 6000 террористов. На освобожденных территориях выявлялись и задерживались нацистские пособники, уничтожались отряды националистов. В первые месяцы после Победы была проведена поистине титаническая работа по проверке бывших военнопленных и гражданских лиц, угнанных в Германию.
Осенью 1945-го Сталин, будучи недовольным работой НКГБ, инициировал разработку новой структуры наркомата и всерьез хотел перетряхнуть всю руководящую верхушку. С начала 1946-го на рассмотрение Сталину были представлены несколько вариантов оргструктуры НКГБ—МГБ. Планировалось включить ГУКР СМЕРШ в состав МГБ, а Абакумова назначить заместителем министра по общим вопросам. Сталину показалось этого мало. Решением Политбюро ЦК ВКП (б) 4 мая 1946-го была утверждена новая структура МГБ и вместо Меркулова министром был назначен Абакумов. В ходе приема-передачи дел в МГБ Абакумов приложил все усилия, чтобы опорочить работу своего предшественника. Внезапное возвышение вскружило ему голову, и среди своего ближайшего окружения Абакумов заявлял: «Хотя Меркулов и был министром, но ЦК боялся и дорогу туда не знал», тогда как сам он, «еще работая начальником контрразведки СМЕРШ, уже знал себе цену и уже тогда, не в пример Меркулову, сумел завоевать себе прочный авторитет».
В 1946 г., по инициативе Абакумова был осужден ряд руководителей авиационной промышленности и ВВС: нарком авиапромышленности А.И.Шахурин, Главный маршал авиации, главком ВВС А.А.Новиков, главный инженер ВВС А.К.Репин, и другие. Выяснилось, что они виновны в поставках в армию некачественных самолетов (в ходе испытаний и эксплуатации гибли и машины, и летчики), что ради перевыполнения плана они запускали в производство заведомо «сырые» машины,