В военно-морском флоте с 1938 года. Был направлен на военно-морскую базу в город Очаков (ныне Одесской области Украины). Участник Великой Отечественной войны с сентября 1941 года. Принимал участие в непрерывных и ожесточенных оборонительных боях, познал горечь отступления в глубь родной земли. Участвовал в героической обороне Одессы, в уничтожении укрепления в районе Днепровско-Бугского лимана. Затем был направлен в Севастополь, где в сентябре 1941 года по решению Военного совета Черноморского флота формировался отдельный разведывательный отряд разведывательного отдела штаба флота. В него вошли добровольцы, побывавшие в боях, в том числе одним из первых и Николай Земцов. Он был избран секретарем партийной организации и назначен командиром оперативной разведывательной группы. В задачу группы входило проникновение в тыл противника для захвата «языков», выявление системы вражеской обороны, осуществление диверсионных акций.
Старшина 2-й статьи Николай 3емцов в декабре 1941 года участвовал в подготовке и проведении Керченско-Феодосийской десантной операции. На сторожевых катерах разведгруппа вышла в море, скрытно высадилась на Широком молу Феодосийского порта города Феодосии (Крым), бесшумно сняла часовых и стремительно прорвалась в город. В этом бою Николай Земцов получил тяжелое ранение. Второе ранение в ногу он получил уже при выносе его из боя. За успешное проведение десантной операции разведчики были награждены орденами и медалями, а их командир – орденом Красного Знамени.
В апреле 1942 года после излечения в госпитале Николай Земцов возвратился в разведывательный отряд разведывательного отдела Черноморского флота. Он продолжил возглавлять группу разведчиков, которая к тому времени уже действовала на перевалах Главного Кавказского хребта.
В новой обстановке от командира требовалось умение ориентироваться в горно-лесистой местности. Мало было захватить «языка» или детально разведать оборонительную систему противника, его тыла – надо было еще и доставить пленного, а также и полученные данные в отряд по тропам, обходя посты и засады врага. И такие боевые задания не раз доводилось выполнять группе разведчиков под командованием Николая Земцова. Данные, добытые ими, позволили нашим войскам перейти в наступление на клухорском направлении.
Затем отдельный разведывательный отряд под командованием отважного мичмана до мая 1944 года принимал участие в освобождении городов Очакова, Одессы, Севастополя. В сентябре 1944 года Николая Земцова направляют сначала в Военный институт иностранных языков, а спустя полгода переводят во вновь созданную Ленинградскую высшую военно-морскую школу контрразведки. Во время учебы в этой специальной школе он стал участником исторического Парада Победы