Вторую атаку под прикрытием артиллерийского огня повела 2-я бригада генерала Суа. Она атаковала южную стену фермы, заняла небольшую часть сада, но не смогла укрепиться. Тогда 1-й лёгкий полк под командой полковника Деспана-Кубьера совершил обходной маневр с запада и напал на северные ворота. Бывшему сапёру суб-лейтенанту Легро удалось разбить ворота топором, после чего французы с криками «Vive l, Empereur!» ворвались во внутренний двор и вступили в отчаянную схватку с английскими гвардейцами. После того, как подполковник Макдоннел с группой офицеров и капралом Джеймсом Гремом умудрились-таки снова их захлопнуть, то оставшиеся внутри 30 карабинеров 1-го лёгкого во главе Легро были перебиты в рукопашной схватке. По легенде в живых остался (либо его оставили в живых!?) один лишь юнец-барабанщик.
Около полудня наполеоновский брат Жером предпринял третью попытку овладеть Угумоном – на этот раз французы обошли ферму с восточной стороны, заняли сад и попытались снова атаковать северные ворота, но были отброшены контратакой двух рот 3-го гвардейского полка. После этого французы выдвинули на опушку леса батарею из гаубиц, которая приступила к интенсивному обстрелу внутреннего двора фермы (разрушению подверглись все здания, кроме часовни). Гренадёрская рота 3-го гвардейского полка попыталась нейтрализовать вражескую артиллерию, но была отброшена французами, которые на плечах отступающих ворвались в сад, но были остановлены контратакой 2-го батальона 3-го гвардейского и откатились на прежние позиции.
Четвёртая попытка французов провалилась около 2 часов дня.
В последующих атаках принимали участие части 5-й пехотной дивизии генерала барона Башлю, 9-й пехотной дивизии генерала графа Фуа из корпуса Рейля и кавалеристы III-го корпуса генерал Келлермана, причём и Фуа и Башлю оказались ранены.
В середине дня Наполеон приказал поджечь все постройки комплекса Угумона – батарея из гаубиц открыла огонь зажигательными снарядами и вскоре большинство зданий были в огне, что не помешало английским гвардейцам оставаться на своих постах и отражать любые вражеские нападения. К этому моменту в помощь защитникам прибыли 1-я бригада Королевского Германского Легиона полковника Дю Пла, 3-я Ганноверская бригада подполковника Хью Халкетта и 71-й пехотный полк 3-й бригады генерал-майора Фредерика Адама из состава 2-й (англо-ганноверской) пехотной дивизии генерал-лейтенанта сэра Генри Клинтона.
На некоторое время вокруг Угомона установилось затишье, поскольку эпицентр сражения переместился в центр позиции. Только ближе к вечеру после того как линию обороны Веллингтона оттеснили назад своими неистовыми атаками кавалеристы Нея, французам снова удалось выбить защитников из сада. Правда, их наступление было остановлено яростным огнём Колдстримской гвардии