Высадившись на берегу, моряки увидели пастухов и их многочисленные стада. Голые, необычного вида люди (совершенно не похожие на других знакомых европейцам африканцев) при виде кораблей пришли в ужас, а когда к ним начали приближаться португальцы – бросились бежать прочь. Убедившись, что у пастухов он ничего не сможет выведать, Диаш приказал начать поиск питьевой воды. У подошвы горы, недалеко от берега, моряки нашли ручей. С кораблей доставили бочки и стали наполнять их водой. Тем временем туземцы забрались на вершину горы и криками старались прогнать пришельцев. Поскольку португальцы не обращали на это внимания, они осмелели и принялись швырять в матросов камни. Тогда Диаш выпустил из арбалета стрелу, поразившую одного из аборигенов. Лишь после этого те скрылись. Изучив труп, португальцы пришли к выводу, что волосы у местных обитателей «как и у жителей Гвинеи, напоминают шерсть», но кожа – «цвета сухих листьев», гораздо светлее, чем у жителей Западной Африки. Сама гавань была названа Диашем Баиа-душ-Вакейруш (залив Пастухов, сегодня – Моссел-бей, или бухта Мидий). Туземцы, с которыми люди Диаша встретились на берегу, принадлежали к группе племен, позднее названных готтентотами.
Оставив в гавани грузовой корабль, Диаш распорядился плыть на восток. В заливе, позже названным Алгоа, была совершена еще одна высадка и установлен второй падран. В это же время среди команд кораблей начался ропот, грозивший перейти в открытое неповиновение: матросы жаловались на недостаток продовольствия и призывали повернуть домой. Проведя совещание со своими капитанами, офицерами и некоторыми вожаками-матросами, Диаш согласился вернуться в Португалию. Начался долгий путь назад, к Лиссабону.
Попутно был обнаружен грузовой корабль, но из девяти матросов, которых Диаш оставил на нем, в живых остались лишь трое. Причиной были не только болезни, но и то, что матросы попытались наладить контакт с местными туземцами, а те, позарившись на их вещи, убили португальцев. По приказу Диаша запасы продовольствия с грузового судна забрали, а само судно сожгли, так как оно было сильно изъедено червем и находилось в весьма плачевном состоянии. Помимо этого, на обратном пути, 16 или 17 августа 1488 года, был открыт и знаменитый мыс Доброй Надежды – южная оконечность континента, которую корабли Диаша проскочили во время шторма.