Утром Наполеон, зная о присутствии всей русской армии, с нетерпением ожидал долгожданного выхода противника в поле для генерального сражения, столь нужного для серьезно углубившейся натерриторию России Великой армии, но не для «игравших в свою игру» русских. Когда ему донесли об отходе армии Багратиона, он лично прибыл на Шеин острог наблюдать передвижение русских войск. После этого он приказал найти брод для переправы и последующего удара в стык русских армий с целью их разъединить. После того, как броды не были найдены, причём, несколько лошадей утонуло в стремнине, он приказал начать бомбардировку и в 13 часов повёл атаку на город с разных сторон. Его войска овладели предместьями, однако не могли продвинуться дальше старой крепостной стены. Наполеон велел артиллерии пробить брешь в стене, но эта попытка не удалась, хотя местами палили из пушек почти в упор. Правда, осколки больших 12-фунтовых ядер рикошетили в ров перед стеной, вынуждая русских покинуть это укрытие. Зато снаряды зажгли предместья и постройки в самом городе.
Ок. 14 часов Наполеон приказал Польскому корпусу Понятовского атаковать Молоховские ворота и восточные предместья вплоть до Днепра. Поляки легко захватили предместья, но проникнуть в город, несмотря на серьезные потери, им так и не удалось. Понятовский приказал было своей большой батарее стрелять по мосту на Днепре, чтобы прервать сообщения русских армий, но их артиллерия из-за реки поддержала городские орудия и заставила поляков прекратить обстрел. Более того, особо тяжёлые потери поляки понесли именно от огня вражеских пушек.
Настал черед корпуса маршала Даву атаковать Смоленск. Вместе с поляками он повел настойчивый приступ против Молоховских ворот, переходя через сухой ров и оттесняя русских в город. Русская армия уже не контролировала предместья, сражалась в пределах крепостных стен. Атакующие части наполеоновской армии укрылись под стенами от артиллерийского огня, но несли потери от ружейного. На помощь Дохтурову была послана 4-я пехотная дивизия принца Евгения Вюртембергского, что помогло выправить ситуацию. Теперь за Смоленск сражалось до 25 тыс. русских солдат. Егерский полк 4-й дивизии вышел за пределы стен и прицельным обстрелом ослабил натиск врага.
Великая армия несла большой урон. Как потом вспоминал в своих мемуарах бригадный генерал граф Сегюр: «… наши атакующие колонны оставляли длинный и широкий след из крови, раненых и мёртвых. Говорили, что один из батальонов, повёрнутый флангом к русским батареям, потерял целый ряд в своём подразделении от единственного ядра. Двадцать два человека пали разом.»
В тоже время, большая