22 июня 1941 года он встретил в Литве на должности начальника штаба 3-го механизированного корпуса, который, имея на вооружении 672 танка, в три дня был полностью разгромлен 4-й танковой группой генерала Хепнера. Выбравшись из окружения, Ротмистров в сентябре получил под свое начало 8-ю танковую бригаду. За мужество и стойкость, проявленные в битве за Москву, бригада была преобразована в 3-ю гвардейскую. В апреле 1942 года Павел Алексеевич был назначен командиром 7-го танкового корпуса и вскоре получил первые генеральские звездочки, попав в обойму «мастеров вождения танковых войск». С июля его корпус участвовал в Воронежско-Ворошиловградской и Сталинградской оборонительных операциях, за два месяца боев потерял два комплекта боевых машин и, не достигнув особых боевых успехов, был выведен в тыл. Это был как раз тот период, о котором немецкий генерал писал: «Плотными массами танки сосредоточивались перед фронтом немецкой обороны, в их движении чувствовались неуверенность и отсутствие всякого плана. Они мешали друг другу, наталкивались на наши противотанковые орудия, а в случае прорыва наших позиций прекращали движение и останавливались, вместо того чтобы развить успех... Нам казалось, что русские создали инструмент, которым никогда не научатся владеть».
Тогда многие военачальники выпали из «обоймы», потеряв высокие должности, а главное, сталинское доверие, но Ротмистрову, успевшему приобрести покровителей в лице А.М. Василевского и Я.Н. Федоренко, дали еще один шанс, и он его не упустил. С 24 по 30 декабря 1942 года войсками Сталинградского фронта проводилась наступательная операция по ликвидации группировки Гота, уже наблюдавшей перед собой «зарево над Сталинградом». Против 57-го германского танкового корпуса, наряду со стрелковыми и кавалерийскими соединениями трех советских армий, были брошены два танковых и три механизированных корпуса. Главный удар наносился по поселку Котельниково, в освобождении которого основную роль сыграли 7-й танковый и 6-й механизированный корпуса.
29 декабря 7-й танковый корпус был удостоен гвардейского звания и стал именоваться 3-м гвардейским; ему также присвоили почетное наименование Котельниковский. Ротмистров стал генерал-лейтенантом и кавалером ордена Суворова II степени за № 2. (По советским меркам, Павел Алексеевич был грамотным, уже достаточно опытным военачальником, но, как и большинство советских генералов, весьма неравнодушным к женщинам и выпивке, склонным к очковтирательству, дутой «отчетности» и саморекламе.