Его мать, 25‐летняя Элизабет Хэрриетт Монтгомери Джексон, переехала в столицу страны из Теннесси во время Второй мировой войны: она и ее сестра Фрэнсис были приняты на службу в ВМС США в качестве служащих и машинисток. Его отец Рой Генри Джексон, которому было всего 19 лет, служил рядовым в армии (позже он участвовал в Корейской войне).
По воспоминаниям Джексона, его мать всегда ходила быстро, стремительно шагая по жизни. В детстве ему приходилось держаться за ее юбку, чтобы не отстать. У него не было детских воспоминаний об отце: Рой навестил сына всего один раз, после чего бросил семью.
Его родители расстались еще до первого дня рождения Сэма. Элизабет привезла сына к родителям домой, в Чаттанугу, штат Теннесси. Не желая бросать отличную работу – в конце концов, она получила награду «За заслуги» от Бюро военно-морского персонала, – она оставила юного Сэма на воспитание матери и отцу, Перл и Эдгару Монтгомери, и вернулась в округ Колумбия, совершая нерегулярные поездки в Чаттанугу на расстояние почти в тысячу километров.
«Дедушка был моим лучшим другом», – сказал Джексон. Эдгар работал в отеле, управлял лифтом. А по вечерам подрабатывал – убирал три разных офиса в районе одного квартала. Перл тоже работала полный рабочий день в качестве домашней прислуги. Маленький мальчик усвоил простой, но важный жизненный урок: взрослые просыпались утром и шли на работу. Иногда Эдгар брал Сэма с собой на уборку. Маленький мальчик помогал выносить мусор из мусорных корзин, и, когда Эдгар использовал полировщик, сверхмощную машину, которая полировала полы, он катал внука на ней верхом.
Семья жила на Лукаут-стрит в доме номер 310 1/2, в негритянском районе сегрегированного[18] южного города. Район был бедным, но Монтгомери принадлежали к рабочему классу. «Я никогда не голодал и не ходил в лохмотьях», – говорит Джексон. Рядом находились два (белых) публичных дома и три разных дома, где продавали самодельное виски, которое покупатели могли приобрести по рюмке, полпинты или полгаллона. «Время от времени летали пули, иногда случалась поножовщина, по соседству проходили пьяницы, но было много стариков, которые заботились о нас», – добавляет он. Любой сосед, заметив, что юный Сэм бедокурит, непременно рассказывал об этом его бабушке и дедушке. Когда Сэм возвращался домой, его ждали телесные наказания – часто это означало порку розгами. Он понимал, что ему несдобровать, как только переступал порог дома, потому что бабушка и дедушка называли его Сэмюэлом, а не Сэмом.
Дом у Монтгомери был небольшой, но тем не менее в нем была гостиная, запретная зона для Сэма, за исключением тех случаев, когда приходили гости: там были красивые ковры, накрахмаленные занавески и трехъярусные столы с маленькими статуэтками. По соседству было много голодных детей, поэтому Перл постоянно пекла. На Лукаут-стрит в доме номер