Гвардия Наполеона атаковала д. Уварово, надеясь использовать деревню для прикрытия отступления корпуса Даву. Уварово удерживалось лишь двумя батальонами пехоты Д. В. Голицына, которые не могли оказать серьёзного сопротивления. По приказу Кутузова русские батальоны оставили Уварово и открыли по ней ожесточённый артиллерийский огонь, нанёся большой урон Молодой Гвардии.
Кроме того, Милорадович получил приказ подтянуться к главным силам для укрепления их оборонительной позиции. Тем самым, войска Милорадовича лишились манёвра и шанса полностью уничтожить корпус Даву.
Ближе к полудню на дороге появился Даву, преследуемый казаками, словно голодными стаями гончих псов. Русская артиллерия провожала его картечью, нанося серьезные потери. И все же, значительное количество пехоты Даву смогло добраться до Красного.
Тем временем, Беннигсен приказал Голицыну вернуть Уварово. Его атака двумя полками кирасир совпала по времени с контратакой гвардейских вольтижёров. Французы выстроились в каре и отбили две атаки, однако третья атака, все же, прорвала каре, и они были либо порублены либо захвачены в плен. Вторая линия французов выдвинулась было для поддержки вольтижёров, однако была отогнана плотным артиллерийским огнём.
Находившийся рядом 3-й гренадерский («голландский» – в нем было много голландцев, Я.Н.) полк Старой Гвардии оказался в критическом положении, понеся большие потери от артиллерийского огня. Роге попытался было поддержать его, атаковав русскую батарею 1-м гвардейским полком лёгкой пехоты, но под картечью и встречными атаками русской кавалерии она захлебнулась. В результате (если верить источникам – Я.Н.) старогвардейские гренадеры полегли почти полностью: 464 человека из 500…!?
Ок. 11 часов дня, когда наполеоновская гвардия все еще удерживала позицию возле Уварово, Бонапарту сообщили о готовности русских выдвинуться к Доброму на перехват пути отступления и о появлении в тылу оправившегося отряда Ожаровского. Эта тревожная новость вкупе с данными о больших потерях Молодой Гвардии, заставили Наполеона принять решение о немедленном отступлении, не дожидаясь подхода корпуса Нея. Его логика была проста и понятна. Ввязываясь в дальнейшее полуголодное (его войскам нечем было кормиться!) противостояние с Кутузовым, он боялся потерять самое драгоценное для него на тот момент – время, тогда как русские, в свою очередь, выиграли бы у него пространство для перерезания его путей отхода на запад.
Старой Гвардии было приказано немедленно вернуться в Красный и, соединившись с остатками корпуса Эжена де Богарне, начать движение вместе с самим императором и его свитой на запад – на Ляды и Оршу. А вот Молодой Гвардии предстояло пока оставаться возле Уварова, чтобы дать время Даву