Позже, странствуя в провинции Идзумо, которая всегда славилась мастерами боевых искусств, Мусаси обратился к господину Мацудайра с просьбой разрешить ему поединок с самым сильным из его слуг. Было решено, что против Мусаси выйдет человек с двухметровым деревянным шестом. Мусаси использовал два деревянных меча. Поединок проходил в саду библиотеки господина Мацудайра. Мусаси загнал противника на ступени веранды, подался вперед, угрожая нанести ему удар в лицо, и когда тот принял защитную стойку, ударил его одновременно по обеим рукам. Тот выронил свой шест.
Портрет посланников княжества Сацумо. Феликс Беато. 1863
К удивлению собравшихся, господин Мацудайра тоже вызвал Мусаси на поединок. Мусаси стал оттеснять его в сторону тех же ступеней, на которых только что победил предыдущего соперника. Господин Мацудайра яростно пытался сдержать натиск, но Мусаси неожиданно сломал его меч пополам «ударом огня и камней». Господин поклонился Мусаси, признав свое поражение, и после этого Мусаси некоторое время гостил у него на правах учителя.
Но самая известная дуэль с участием Мусаси состоялась в 1612 году, когда он находился в городе Огура в провинции Бундзэн. Его противником был Сасаки Кодзиро, молодой воин, создавший сильную фехтовальную технику цубамэ-гаэси («ласточкин заслон»), моделью для которой послужило движение хвоста ласточки в полете. Кодзиро был слугой господина провинции Хосокава Тадаоки (этот примерный самурай своего времени послужил прототипом вероломного Бунтаро в романе Джеймса Клавелла «Сёгун»). С помощью другого слуги, которого звали Нагаока Сато Окинага и который в свое время был учеником отца Мусаси, господину Тадаоки было подано прошение разрешить поединок Кодзиро и Мусаси. Тадаоки удовлетворил прошение и назначил поединок на восемь часов утра следующего дня. Местом поединка должен был стать небольшой остров, находящийся в нескольких милях от Огура.
Накануне поединка Мусаси покинул свое временное жилище и переехал в дом Кабаяси Таро Дзаэмона. По городу распространились слухи, что Мусаси боится утонченной техники Кодзиро и собирается бежать из города. На следующий день в восемь часов Мусаси спал так крепко, что хозяин дома не мог его разбудить, пока не пришли официальные представители от господ, собравшихся на острове. Тогда Мусаси встал, выпил воду, которую ему принесли, чтобы он умылся,