Уже ставший центром своей крошечной вселенной, с шести лет Джим Остерберг нашел новую, более обширную социальную сферу, когда его отец нанялся тренером в спортивный лагерь для детей среднего класса, учрежденный Ирвином «Визом» Висневски на озере Кордли близ Пинкни, штат Мичиган. Но ребята из лагеря вспоминают Джима-младшего с его Икабодом Крейном совсем иначе. «Тренеры забирали нас из дома, – вспоминает Майк Ройстон, который ездил в лагерь с 1954 года, – и вместе с отцом приезжал Джимми. Он был страшно стеснительный, я хорошо помню, как он сидел, съежившись, на переднем сиденье рядом с папой. Это был очень странный мальчик с огромными синими глазами. Поглядывал изучающе, но искоса, стеснялся, отводил глаза. Долго смотреть в глаза не мог. Отец его был чрезвычайно угрюм, необщителен. Смотрели кино «Хладнокровный Люк»? Помните, там парень, глаз нет, одни темные очки? Вот у Джима папа был такой. Особо не разговаривал, просто руководил, без лишних слов. Я никогда не видел, чтоб он улыбался».
Впоследствии Джим-младший часто жаловался новым, более привилегированным одноклассникам на своего папу – да так, что многие думали, что он преувеличивает. Но в счастливом карпентерском детстве он проходил как умный, харизматичный, общительный ребенок. Летними вечерами Виз Висневски часто заходил поиграть в гольф на соседнем поле и, бывало, больше болтал с сыном, чем с отцом: «Мистер Остерберг был человеком сдержанным, но в гольф поиграть любил, и у нас были отличные отношения и с отцом, и с сыном. Юный Джим еще только учился, активный мальчик, играл с левой, с ними было интересно. Хорошо помню эти вечера».
Обычно для американских школьников переход из начальной школы в среднюю (джуниор-хай) – целый обряд посвящения. Несказанное множество фильмов, книг, песен и стихов посвящено крушению иллюзий, психологическим травмам или, наоборот, триумфальным победам подростков, для которых этот переход определял всю дальнейшую взрослую жизнь. Джим Остерберг одолел его с завидной легкостью – он и в средней школе заработал репутацию многообещающего парня. Правда, впоследствии он вспоминал себя как аутсайдера, отчасти потому, что вырос в трейлерном поселке. Унижения, испытанные в юности, на многие годы остались с ним, самоощущение изгоя толкало на новые подвиги. Прежним его карпентерским друзьям, наблюдавшим, как легко Джим вписался в компанию «снобов», это ощущение казалось в лучшем случае необоснованным, а в худшем и вовсе нелепым.
Дуэйн Браун до сих пор вспоминает присущий ему дух соревнования: «Он всегда стремился всех во всем перегнать. И у него получалось». В начальной школе никто из друзей его в этом не упрекал. А потом, говорит Браун, «когда мы все перешли в среднюю и хай-скул, я уже стал думать: он считает себя лучше всех, а почему? Он как-то стал задаваться, когда подрос. Не хотел смешивать ту компанию [в Таппан джуниор-хай] с нами, трейлерскими, типа мы его компрометируем.