Утром три пехотные колонны из корпуса Нея атаковали Королевский бастион и Рославльское предместье. Пехоте Нея дважды удавалось ворваться на Королевский бастион, но оба раза подоспевшие русские резервы отбрасывали ее. После второй неудачи она прекратила атаки, ограничившись перестрелкой. Решено было отложить штурм города до следующего дня. Таким образом, войска Раевского смогли удержать свои позиции и сам город, а Ней упустил в тот день возможность взять город малой кровью.
Наконец к Смоленску подошли войска обеих российских армий и сосредоточились на правом берегу Днепра.
Рассказывали, что на военном совете русских о судьбе Смоленска – «ключа не только к Москве, но и к… России!» – все участвовавшие в нем генералы высказались за генеральное сражение. Но Барклай, видя не подготовленность города к обороне, не считал возможным рисковать судьбой армии, численно явно уступавшей противнику. Он твердо стоял на своем: «Пусть каждый выполняет свой долг, а я выполняю свой». Ситуация усугубилась тем, что по слухам и сам Александр I в это время уже начал высказываться за прекращение отступления.
Правда, уже к 5 (17) августа, получив ложные сведения, что вражеские части видели на Ельнинской дороге, командующие решили, что Багратион прикроет Московскую дорогу, отойдя к Соловьевой переправе, а Смоленск будет оборонять лишь Барклай, причем, силами лишь одного из своих корпусов.
В течение ночи корпус Раевского заменили 6-м пехотным корпусом генерала Д. С. Дохтурова, усиленным к тому же 3-й пехотной дивизией генерала П. П. Коновницына, потрепанной 27-й пехотной дивизией генерала Неверовского и другими частями (всего от 20 до 30 тыс. чел. – данные сильно разнятся – с 180 пушками). Основные силы армии Барклая оставались на правом берегу Днепра, а армия Багратиона начала движение на 12 верст вверх по течению реки, чтобы контролировать переправы и прикрыть Московскую дорогу на Елань – Дорогобуж – Москву. Причем, Барклай обещал Багратиону без нужды не оставлять город, но, скорее всего, сам для себя уже принял решение о продолжении ретирады.
Скажем сразу, что обходной маневр через Красный, предпринятый Наполеоном, сделал длительную оборону Смоленска бесперспективной, поскольку русские уже давно были «заряжены» на стратегическое отступление. Другое дело, что от Смоленска уже было недалеко и до Москвы…
Войска Наполеона расположились вокруг Смоленска полукругом на левом берегу Днепра: всего – 146 тыс. чел. с 300 оруд., но в сражении приняло участие не более 45 тыс. Правда, на подходе были еще два корпуса: IV-й Э. Богарне и VIII-й генерала Ж. А. Жюно – что-то около 44 тыс. чел.
С утра 5 (17) августа началась ружейная и артиллерийская перестрелка, не стихавшая до 14 часов. Наполеон в начале испытывал иллюзии, что русские попытаются выйти на открытую позицию перед городом и не спешил начинать штурм, надеясь наконец-то