5 июля 1941 г. был ранен в левую ногу. Затем с дивизионом участвовал в Киевской оборонительной операции, в оборонительных боях на Юго-Западном фронте. С 5 апреля 1942 г. и.д. командира 723-го зенитно-артиллерийского полка Юго-Западного фронта. В составе войск Сталинградского (с 12 июля) и Донского (с 30 сентября) фронтов участвовал с ним в оборонительных боях под Сталинградом. В ноябре 1942 г. полк вошел во вновь сформированную на Донском фронте 15-ю зенитную артиллерийскую дивизию РГК. До 20 декабря он вместе с другими частями дивизии осуществлял противовоздушную оборону боевых порядков и объектов тыла 65-й армии Донского фронта, обеспечивал прорыв обороны противника северо-западнее Сталинграда и последующий выход войск армии на рубеж южнее Песковатка – Вертячий, способствуя окружению немецких войск под Сталинградом. В декабре 1942 г. дивизия была подчинена Сталинградскому (с 1.1.1943 г. – Южному) фронту и получила задачу прикрыть от воздушного нападения 2-ю гвардейскую армию. В ночь на 22 декабря она совершила 150-километровый марш и своим огнем прикрыла от ударов с воздуха гвардейские соединения армии, готовившиеся нанести удар по немецкой танковой группировке генерала Э. Манштейна. В последующем полк вместе с другими частями дивизии сопровождал 2-ю гвардейскую армию в наступлении на Котельни– ково, Зимовники и выходе ее на р. Маныч, прикрывал механизированные и танковые соединения, тыловые объекты и аэродром Холодный в полосе армии. 16 января 1943 г. подполковник А.И. Ковалев был назначен начальником штаба этой же 15-й зенитной артиллерийской дивизии РГК. В феврале ее части были включены в состав зенитной группы армии, оборонявшей переправу в районе Багаевска и ударную группировку 2-й гвардейской армии в наступлении. Всего в боях за декабрь – февраль части дивизии сбили 32 и подбили 12 самолетов противника. За боевые отличия в Сталинградской битве подполковник А.И. Ковалев был награжден орденом Красного Знамени (30.1.1943). С 21 апреля 1943 г. и.д. начальника отдела ПВО Управления командующего артиллерией Южного фронта. В этой должности принимал участие в Донбасской и Мелитопольской наступательных операциях. С 5 октября того же года допущен к и.д. командира 2-й зенитной артиллерийской дивизией РГК. С декабря она вошла в оперативное подчинение 3-й гвардейской армии 4-го Украинского фронта. В феврале 1944 г. ее части выполняли задачу ПВО переправ через р. Днепр в районах Большая и Малая Лепетиха и Сергеевка. С марта дивизия обеспечивала прикрытие переправ с Сиваша на Крым в период их наведения, затем осуществляла ПВО войск армии и фронта в ходе Крымской операции. Приказом ВГК от 24.4.1944 г. ей было присвоено почетное наименование «Сивашская», а ее командир полковник А.И. Ковалев за эту операцию награжден вторым орденом Красного Знамени (16.5.1944) и орденом Отечественной войны 1-й степени (6.5.1944). С 4 августа 1944 г. дивизия находилась в составе 1-го Прибалтийского фронта с оперативным подчинением 2-й гвардейской армии. Ее части принимали участие в Мемельской наступательной операции и завершении разгрома Курляндской группировки противника. В апреле 1945 г. она в составе 11-й гвардейской армии Земландской
