С началом Советско-финляндской войны 1939-1940 гг. сформировал 1-ю дивизию Финской народной армии и воевал с ней на Карельском перешейке, участвовал во взятии г. Выборг. С июля 1940 г. помощник командующего войсками СКВО по вузам. В первые месяцы Великой Отечественной войны генерал-майор А. А. Гречкин, оставаясь на прежней должности, возглавлял руководство работами по созданию Миусского оборонительного рубежа, оборонительных обводов вокруг г. Ростов-на-Дону. В период с 3 августа по 4 сентября 1941 г. временно исполнял должность командующего войсками СКВО. С октября 1941 г. командующий оперативной группой 56-й отдельной армии Южного фронта и участвовал в Ростовской оборонительной, затем Ростовской наступательной операциях. В связи с большой шириной полосы обороны армии (до 140 км) армейской оперативной группе пришлось в тяжелейших условиях оборонительного сражения осуществлять маневр и вести ожесточенные бои с прорвавшейся группировкой противника на ростовском направлении. Особенно тяжелыми были бои в период с 17 по 21 ноября, когда противнику ценой больших потерь удалось захватить город, и войска армии были вынуждены отойти на левый берег р. Дон. С 23 ноября 56-я армия была включена в состав Закавказского фронта. В ходе Ростовской наступательной операции ее войска во взаимодействии с 9-й армией Южного фронта освободили г. Ростов-на-Дону. С 31 декабря 1941 г. командующий 8-й саперной армией, однако в должность не вступил, так как продолжал командовать оперативной группой 56-й армии. С июня 1942 г. заместитель командующего 24-й армией, созданной на базе оперативной группы войск Южного фронта. С 28 августа 1942 г. командир 318-й стрелковой дивизии. С 4 сентября она была передана из резерва Северо-Кавказского фронта в 47-ю армию и участвовала в Новороссийской оборонительной операции, в боях северо-восточнее Новороссийска. С 3 января 1943 г. командиром 16-го стрелкового корпуса. С 4 февраля 1943 г. заместитель командующего 47-й армией. В феврале руководил оперативной группой армии по формированию, подготовке и высадке морского десанта южнее г. Новороссийск. С 27 февраля 1943 г. командир 20-го стрелкового корпуса. С марта 1943 г. командующий десантной группой войск 18-й армии Закавказского фронта. С 20 июня 1943 г. командующий 9-й армией Северо-Кавказского фронта. В сентябре-октябре армия приняла участие в Новороссийско-Таманской наступательной операции. С 30 ноября 1943 г. командующий 28-й армией 4-го Украинского фронта, которая участвовала сначала в Никопольско-Криворожской, затем в составе 3-го Украинского фронта в Березнеговато-Снигиревской наступательных операциях. В ходе последней ее войска на Правобережной Украине освободили большое количество нас. пунктов, в том числе города Херсон, Николаев. С мая 1944 г. заместитель командующего войсками 3-го Прибалтийского фронта и в этой должности принимал участие в Псковско-Островской, Тартуской и Рижской наступательных операциях. Будучи зам. командующего войсками фронта, он проявил себя волевым и храбрым генералом, прекрасно понимающим характер современного боя и операции, твердо управляющим подчиненными ему войсками. С 16 октября 1944 г.
