В 1903 г. Маннергейм стал командиром образцового эскадрона в кавалерийском офицерском училище. Эту почетную должность он получил по рекомендации генерала А.А. Брусилова и великого князя Николая Николаевича.
Блестящий гвардейский офицер, он мог рассчитывать на выгодный брак. Он женился в 1892 г. на Анастасии Александровне Араповой, богатой, но некрасивой и капризной дочери русского генерала, поправив при этом свое финансовое положение. Через год у молодоженов родилась дочь, которую в честь матери назвали Анастасией (умерла в 1978 г.), а в 1895 г. – Софи (умерла в 1963 г.).
Брак по расчету не был счастливым, а рождение мертвого сына еще больше осложнило отношения между супругами. Супруги решили расстаться. Анастасия Александровна, взяв с собой дочерей, уехала за границу.
Когда вспыхнула Русско-японская война, Маннергейм вызвался отправиться добровольцем на фронт. Он хотел подкрепить свою дальнейшую карьеру опытом боевого офицера. Братья и сестры, а также вернувшийся к тому времени в Финляндию отец не одобрили его намерений. Если поступление молодого Маннергейма на службу в русскую армию не вызвало особого возражения у его родственников и знакомых – царю и раньше служили многие скандинавские дворяне, – то добровольное желание воевать за царскую Россию следовало расценивать как полную солидарность с политикой самодержавия в Финляндии. Карл Густав Эмиль понимал и в какой-то степени разделял доводы родственников, но своему решению не изменил: совестно было вести светскую жизнь, когда коллеги-офицеры проливали кровь на войне.
На полях сражений Русско-японской войны ставший уже подполковником Маннергейм показал себя храбрым и грамотным офицером. В начале 1905 г. он проводил разведывательные операции в окрестностях Мукдена, которые дали высшему командованию ценную информацию о планах японцев, а их исполнителю – чин полковника.
Не случайно в 1906 г. Маннергейм был отправлен Генштабом в «инспекционную», а на деле чисто разведывательную двухлетнюю поездку в Китай. Маннергейм, как подданный Великого княжества Финляндского, как никто, подходил для такой цели. К тому же формально он был зачислен в экспедицию французского синолога профессора Сорбонны П. Пэллио и для маскировки должен был заниматься этнографическими и другими научными исследованиями.
Полковник Маннергейм, по инструкции Генштаба, должен был уточнить, насколько можно рассчитывать на поддержку местного населения в случае вторжения русских войск во Внутреннюю Монголию. Он предпринял поездку к границам Индии, исследовал положение в соседних с Внутренней Монголией китайских провинциях Синьцзян и Шаньси, нанес визит жившему и изгнании на южной границе пустыни Гоби тибетскому далай-ламе, в котором царское правительство видело своего союзника в возможном будущем столкновении с Китаем. Маннергейм усердно вел дневник, записывая собираемые им этнографические, лингвистические