Четвертого января 1160 г., поблагодарив своих спасителей, Ёритомо отправился на поиски отца. Он еще не знал о его участи, но понимал, что их повсюду ищут, поэтому избегал людей и дорог. Плутая по незнакомой местности, Ёритомо сбивается с пути, но, к счастью, натыкается на молодого бакланщика (так называли тех, кто разводил бакланов для ловли рыбы). Тот сразу смекнул что к чему: этот юноша наверняка из преступников, за которых обещана большая награда. Толи деньги ему не требовались, толи бакланщик оказался действительно не по годам смышленым, сообразив, чем может обернуться сия награда, но по просьбе Ёритомо помогает ему добраться до Аохаки, однако Ёситомо там уже не было.
Ёритомо потерял счет дням и уже не представлял себе, где находится. Если бы не помощь крестьян и бродячих монахов, попадавшихся на пути, он давно бы замерз или умер как бездомная собака. Судьба к нему по-прежнему благоволила. Никто из встреченных не захотел обменять его жизнь на кучу монет, хотя каждый из них сразу понимал, едва завидев Ёритомо, что этот воин наверняка из тех, кто причастен к событиям в столице, молва о которых докатилась до самой глухой деревни. В конце-концов, на одинокую фигуру, медленно бредущую по заснеженной равнине Сэкигахара, обратил внимание Тайра Мунэкиё, объезжавший свои владения. Ёритомо пребывал на грани отчаяния, узнав о гибели отца, и уже смерился с неизбежностью самоубийства. Когда Ёритомо окликнули и он повернул голову в сторону Мунэкиё, тот признал в нем сына Минамото Ёситомо. Признал и… выругался с досады: «Черт, лучше бы я тебя вовсе не заметил. Для меня лучше…». Старый вояка не сомневался в том, какая судьба ждет