Тем не менее, сначала наступление развивалось успешно. С юга главный удар наносила 6-я армия генерала Авксентия Городнянского. Армейская группа генерала Леонида Бобкина наносила удар на Красноград, обеспечивая 6-ю армию с юго-запада. 57-я армия генерала Кузьмы Подласа и 9-я армия генерала Михаила Харитонова из состава Южного фронта должны были оборонять барвенковский плацдарм с юга, чтобы обеспечить с юга ударную группировку Юго-Западного фронта.
Части армии Городнянского прорвались к Чугуеву и Мерефе. На севере 28-я армия Дмитрия Рябышева и 38-я армия генерала Кирилла Москаленко смогли продвинуться на 65 км в районе Волчанска, но не сумели соединиться с южной группой и замкнуть кольцо окружения. 21-я армия генерала Василия Гордова, действовавшая на севере, ввязалась в борьбу за отдельные немецкие опорные пункты и почти не продвигалась. Тем не менее, первый оборонительный рубеж был прорван. 28-я армия продвинулась на 6–8 км и вышла к тыловому рубежу немецкой обороны. Однако командование Юго-Западного фронта так и не решилось ввести в прорыв танковые соединения. Оно также допустило просчет во времени, когда могут подойти немецкие оперативные резервы. Тимошенко полагал, что на это потребуется 5–6 дней, тогда как на самом деле они начали подходить к полю боя уже на второй день советского наступления.
Под Харьковом 430 немецким танкам и штурмовым орудиям противостояли 1 100 советских танков, причем на равных с Т-34 могли сражаться только 12 модифицированных немецких танков Т-IV с длинноствольной 75-мм пушкой.
Еще 15 мая Тимошенко и Хрущев оптимистически оценивали перспективы наступления. В донесении, посланном ими в этот день в Ставку, утверждалось: «Для нас теперь совершенно ясно, что противник, сосредоточив в Харькове две полнокровные танковые дивизии, вероятно, готовился к наступлению в направлении Купянск и что нам удалось сорвать это наступление в процессе его подготовки. Очевидно также, что сейчас противник в районе Харькова не располагает такими силами, чтобы развернуть против нас встречное наступление…»
Южнее Харькова Тимошенко решил ввести в бой утром 16 мая два танковых корпуса. Группа Бобкина должна была силами 6-го кавалерийского корпуса овладеть Красноградом. Однако к назначенному сроку танковые корпуса не успели подойти к линии фронта. Немцы же в течение 16 мая завершили перегруппировку и приготовились к наступлению. В то же время они привели в порядок отошедшие части и уничтожили все мосты через реку Берестовая, которая в условиях весеннего паводка превратилась в серьезное противотанковое препятствие. Тем не менее, к исходу 16 мая советские войска форсировали Берестовую. Но для того, чтобы утром 17 мая ввести в прорыв танковые корпуса, требовалось восстановить мосты, что саперы сделать не успели. Кавалеристы Бобкина не смогли овладеть Красноградом.
В целом к исходу 16 мая советские войска продвинулись