На следующий день, 15 августа, Багратион получил послание от Неверовского о произошедшем бое и, оценив обстановку, начал разворачивать войска на Смоленск. Раевскому было приказано отправиться на поддержку Неверовского. Он миновал Смоленск, присоединил оставшихся солдат из обескровленной и измочаленной противостоянием под Красным дивизии Неверовского и занял позицию в 6 километрах от Смоленска по дороге на Красный. Однако перед лицом всей Великой армии было решено отступить в Смоленск, имевший хоть какие-то укрепления.
Так, в ночь с 15 на 16 августа Раевский с 15 тысячами занял предместья Смоленска. Из госпиталей было взято несколько сотен выздоравливающих и легкораненых. Барклай-де-Толли и Багратион со своими войсками находились в 30—40 км от города, и могли оказать поддержку лишь на следующий день.
Принято считать, что Барклай-де-Толли был против этого ненужного на его взгляд сражения, но на тот момент в русской армии уже царило фактическое двуначалие.
Смоленск с его 15-тысячным населением располагался на склоне левого (южного) берега Днепра, на правом берегу находилось только Петербургское предместье. Ещё пару веков назад он был окружен крепостной стеной из красного кирпича высотой 13—19 м и толщиной 5—6 м, с несколькими проломами и тремя воротами. Были также полуразрушенные земляные укрепления бастионного типа. Предместья из деревянных построек опоясывали город с юга полукольцом от Днепра до Днепра. Однако ни стены, ни укрепления не имели необходимых фортификационных сооружений для размещения артиллерии, поэтому оборонительные бои пришлось вести в основном в предместьях.
В 8 часов утра 16 августа со стороны Красного показались три пехотные колонны маршала Нея. Полагая, что в городе стоит только изрядно потрёпанная дивизия Неверовского, азартный смельчак Ней с ходу попытался атаковать Смоленск, но откатился окровавленный, потеряв целый батальон. Основной удар пришёлся на Красненское предместье и королевский бастион (пятиугольное насыпное укрепление, построенное ещё польским королём Сигизмундом III в юго-западном углу), которые защищала свежая дивизия Паскевича.
Только к полудню