В Эдо воин по имени Мусо Гоносукэ пришел к Мусаси, чтобы вызвать его на поединок. В это время Мусаси был занят изготовлением лука, но тут же принял вызов и, подняв свой недоделанный лук, показал гостю, что готов использовать его в качестве меча. Гоносукэ с настоящим мечом в руках сделал стремительный выпад в сторону Мусаси, но тот уклонился и ударил его по голове своей легкой палкой. Гоносукэ испугался и убежал.
Однако не все встречи Мусаси с мастерами боевых искусств заканчивались поединками. Говорят, что однажды Мусаси встретил на улице известного самурая Ягю Хего, племянника не менее знаменитого Ягю Тадзима-но-ками. Хотя Мусаси и Хего до этого ни разу не виделись, они сразу же узнали друг друга и после короткого разговора стали друзьями. Хего пригласил Мусаси в свое имение, где они пили саке и играли в го, как старые знакомые. Мусаси гостил у Ягю Хего довольно долго, но два великих мастера ни разу не скрестили мечи. Впоследствии Мусаси так высказывался об этой встрече: «То, что я сразу узнал Хего, было таинственным действием ума, без причины и цели. Почему мы не вызвали друг друга на поединок? В этом не было необходимости, потому что мы безмолвно постигли равенство нашего мастерства». Эта встреча напоминает другую встречу равных, встречу Будды и его ученика Кашьяпы, в ходе которой Будда показал цветок, а Кашьяпа с пониманием улыбнулся.
Позже, странствуя в провинции Идзумо, которая всегда славилась мастерами боевых искусств, Мусаси обратился к господину Мацудайра с просьбой разрешить ему поединок с самым сильным из его слуг. Было решено, что против Мусаси выйдет человек с двухметровым деревянным шестом. Мусаси использовал два деревянных меча. Поединок проходил в саду библиотеки господина Мацудайра. Мусаси загнал противника на ступени веранды, подался вперед, угрожая нанести ему удар в лицо, и когда тот принял защитную стойку, ударил его одновременно по обеим рукам. Тот выронил свой шест.
К удивлению собравшихся, господин Мацудайра тоже вызвал Мусаси на поединок. Мусаси стал оттеснять его в сторону тех же ступеней, на которых только что победил предыдущего соперника. Господин Мацудайра яростно пытался сдержать натиск, но Мусаси неожиданно сломал его меч пополам «ударом огня и камней». Господин поклонился Мусаси, признав свое поражение, и после этого Мусаси некоторое время гостил у него на правах учителя.
Но самая известная дуэль с участием Мусаси состоялась в 1612 году, когда он находился в городе Огура в провинции Бундзэн. Его противником был Сасаки Кодзиро, молодой воин, создавший сильную фехтовальную технику цубамэ-гаэси («ласточкин заслон»), моделью для которой послужило движение хвоста ласточки