В том же 1934 г. Ровель обратил свой взор и на Советский Союз. Там в это время набирала обороты «индустриализация», повсюду возводились корпуса новых предприятий, строились и расширялись города, армия и флот получали все больше техники.
Тайком заглянуть в этот огромный мир сверху, с неба, представлялось очень заманчивым. Используя двухмоторный самолет, оснащенный дополнительными топливными баками, Ровель начал выполнять разведывательные полеты с территории Восточной Пруссии.
С высоты 9144 м он провел аэрофотосъемку советской военно-морской базы Кронштадт, в Финском заливе, индустриальных объектов в соседнем Ленинграде (ныне Санкт-Петербург), а также в районе Пскова и Минска. При этом Ровель, регулярно пролетая над Кронштадтом с интервалом в несколько недель, предоставил абверу ценные сведения о советском военно-морском флоте, объемах и темпах строительства новых военных кораблей.
Своими действиями Ровель невольно спровоцировал замену руководителя абвера. И это событие, как затем стало ясно, оказало огромное влияние и на его личную судьбу, и на судьбу всей германской военной разведки в целом.
2 января 1935 г. новым главой абвера стал 48-летний капитан цур зее Вильгельм Канарис.
Созданное Ровелем элитное подразделение, в январе 1939 г. преобразованное в разведывательную авиагруппу при главнокомандующем люфтваффе (Aufklarergrappe Oberbefehlshaber der Tüftwaffe – Aufkl.Gr.Ob.d.L.), совершало тайные разведывательные полеты над Советским Союзом вплоть до начала Второй мировой войны. В основном они проходили под видом пассажирских рейсов, которые «случайным образом» пролегали над стратегическими объектами. Если же нужный район аэрофотосъемки находился слишком далеко от имевшихся трасс, то тогда использовалось прикрытие в виде «пробных полетов по новым трассам», которые «Люфтганза» якобы предполагала вскоре открыть. Таким образом, замаскированные «Хейнкели» из эскадрильи специального назначения спокойно совершали разведывательные рейды над всей Европой и европейской частью Советского Союза.
Все шло успешно, но однажды все же произошел инцидент, который мог бы положить конец полетам «призраков» над СССР. В ходе выполнения программы «пробных» полетов в район Крыма и Кавказа He-lllV2 «Росток» потерпел аварию и упал на советской территории. Хотя правительство СССР получило достаточные доказательства истинной цели этих полетов, оно ограничилось лишь одной дипломатической нотой протеста, на которую из-за ее обтекаемости в Берлине не обратили большого внимания.
«Хейнкели», замаскированные под лайнеры «Люфтганзы», летавшие по маршруту Тегеран – Кабул, использовались и для разведки южной границы СССР. Во время полетов они намеренно отклонялись от курса и входили в советское воздушное пространство.