Первого января 1847 года Генри Клей-младший прислал письмо из Мексики своему сыну в Кентукки. В нем говорилось: «Джон поздравляет тебя с Рождеством. Он все еще со мной и оказался очень хорошим мальчиком. Он благодарит Бога за то, что цел и невредим, поскольку несколько его темнокожих компаньонов были убиты мексиканцами». Вскоре после написания письма Генри Клей-младший был убит, когда он вел свой полк в атаку. Джон Генри Клей вернулся в Кентукки все еще в статусе раба.
Точная дата его освобождения неизвестна. Согласно переписи Соединенных Штатов за 1870 год Джон Клей был женатым человеком, разнорабочим, отцом четырех детей и владельцем предприятия стоимостью в 2 500 долларов. С женой Салли у них было девять детей, включая Германа Хитона Клея, дедушку Мухаммеда Али, рожденного в 1876 году в Луисвилле.
Герман Хитон Клей бросил школу после третьего класса. Из него вырос красивый сильный и высокий мужчина. В 1898 году он женился на женщине по имени Присцилла Натер. У них родился мальчик, но брак не продлился долго. 4 ноября 1900 года, играя в кости в переулке Луисвилла, Герман Клей стащил у мужчины четвертак и отказался вернуть его. Позже в тот же день Герман заблаговременно сказал своему брату Кассиусу, что любому, кто побеспокоит его по поводу денег, «не поздоровится». Герман со своим братом стояли возле телефонного столба на углу Шестнадцатой и Харни, когда они увидели Чарльза Дики, друга того человека, которого ограбил Герман. Дики был двадцатипятилетним неграмотным поденным рабочим. Зажав в руках трость с тяжелой ручкой, он приблизился к братьям Клей. Герман Клей держал при себе пистолет, а Кассиус блеснул ножом, чтобы Дики мог его видеть.
Дики спросил, зачем Кассиусу понадобился нож.
«Этот нож был у меня еще до того, как ты пришел», – сказал брат Германа.
«Должно быть, ты задумал что-то неладное…» – ответил Дики.
Согласно свидетелям, это были его последние слова. Герман Клей достал свой пистолет 38-го калибра и выстрелил прямо в сердце Дики. «Смерть была мгновенной», – писали в газете «Louisville Courier-Journal».
Герман сбежал с места преступления, но его быстро поймали. Он был осужден за убийство и приговорен к пожизненному заключению. Вскоре после оглашения приговора Присцилла подала на развод. Клей добился досрочного освобождения, проведя шесть лет в государственной тюрьме во Франкфурте, штат Кентукки. Три года спустя, 30 декабря 1909 года, он женился на Эдит Грейтхаус. Они воспитывали двенадцать детей. Их первый ребенок, Эверетт Клей, зарезал свою жену бритвой и умер за решеткой. Их второй ребенок, Кассиус Марселлус Клей, родившийся 11 ноября 1912 года, стал отцом Мухаммеда Али.
В двадцатом веке рабство алело ярким шрамом на семье Клеев. Для них это время ассоциировалось с конкретными людьми и конкретными историями.