Карл фактически отошел от дел – он вообще мало стремился к занятию высоких постов, постоянно отклоняя заманчивые предложения. Лишь после катастрофической для Австрии кампании 1800 г. и разгрома австрийцев при Маренго (14 июня) и Гогенлингене (3 декабря) Карл согласился вновь возглавить армию. Руководил отступлением войск и 25 декабря 1800 г. заключил с Францией перемирие в Штейере. По окончании военных действий, посчитав свою задачу выполненной, эрцгерцог покинул армию, вернувшись в ставшую ему родной Богемию.
Поражение 1800 г. привело к тому, что император Франц II – старший брат Карла – пришел к пониманию неотложной необходимости реформирования армии. 9 января 1801 г. эрцгерцог стал президентом Гофкригсрата. Он немедленно начал стремительными темпами ломать одряхлевшую военную систему Священной Римской империи, создавая на ее месте современную армию, которая могла бы потягаться с французами. Уже в декабре 1801 г. Карл создал ведомство президента Гофкригстара – фактически военное министерство, а в 1805 г. окончательно разогнал всем надоевший совет и лично возглавил созданное из своего управления Военное министерство. Сделано было много, но все же закончить реформы до новой войны – что было изначальной целью Карла – он не успел: полностью изменить характер и традиции австрийской армии ему было не по силам.
23 апреля 1805 г. в Санкт-Петебруге между Россией и Великобританией был подписан союзный договор, сформировавший Третью антифранцузскую коалицию, 8 августа к ней присоединилась и Священная Римская империя. Карлу было поручено принять командование австрийской армией в Венеции и руководить завоеванием Италии. Лишь 30 октября 1805 г. он принял участие в крупном сражении – у деревни Кальдиеро: здесь его 50-тысячная армия встретилась с 37-тысячным корпусом маршала Андре Массена. В целом ситуация складывалась вполне прилично: австрийцы удерживали позиции, потери французов росли, грозя перерасти в катастрофические. Надо было продолжить битву на следующий день, причем вариант, что французы потерпят поражение, был вполне реален. Однако в этот момент Карл получил известия о катастрофе под Ульмом, где 19 октября была разгромлена австрийская армия Карла Макка. После этого он оставил небольшой заслон и ночью вывел свою армию в Венгрию.
Было ясно, что реформы, начатые Карлом, необходимо продолжить. И вновь император Франц мог доверять лишь своему брату, которому он в 1806 г. дал неограниченные полномочия, объявив его главнокомандующим (генералиссимусом) имперской армией. Уже в январе 1806 г. в отставку было отправлено 25 генералов! В 1805–1809 гг. он полностью реорганизовал австрийскую армию, увеличив ее с 200 до 340 тысяч человек. Армия была сведена в 9 линейных и 2 резервных корпуса и делилась на 80 пехотных полков, 9 егерских батальонов, 8 кирасирских, 6 драгунских,