Когда ему было пять или шесть лет, Элла заставляла сына учиться игре на фортепиано. Роберт послушно упражнялся каждый день, ненавидя это занятие всей душой. Прошло около года, и он заболел. Мать, как водится, заподозрила худшее – детский паралич. Ухаживая за сыном, она каждый день спрашивала, как он себя чувствует, пока Роберт однажды не глянул на нее с кровати и не пробурчал: «Как во время урока музыки». Элла сдалась, занятия фортепиано прекратились.
В 1909 году, когда Роберту было всего пять лет, Юлиус взял его с собой в первое из четырех трансатлантических путешествий погостить у деда Беньямина в Германии. Отец и сын повторили вояж два года спустя. К тому времени Беньямину шел семьдесят шестой год, и все же дед произвел на внука неизгладимое впечатление. «Я понял, – вспоминал потом Роберт, – что одним из его любимых в жизни занятий было чтение, хотя он почти не учился в школе». Однажды, наблюдая, как Роберт играет в кубики, Беньямин решил подарить мальчику энциклопедию архитектуры. Дед также подарил ему «совершенно обыкновенную» коллекцию минералов – ящик с двумя десятками образцов с этикетками на немецком языке. «С этого момента, – вспоминал Роберт, – я, как это свойственно детям, превратился в азартного коллекционера». Вернувшись в Нью-Йорк, он уговорил отца взять его на «охоту за минералами» в Палисейдс. Вскоре в квартире на Риверсайд-драйв негде было повернуться от образцов. Каждый камень был аккуратно помечен биркой с его научным названием. Юлиус поощрял затворническое хобби сына, подбрасывая ему книги по минералогии. Намного позже Роберт признался, что геологическое происхождение камней не вызывало у него интереса, его больше привлекали кристаллические структуры и поляризация света.
В возрасте с семи до двенадцати лет у Роберта были три домашних увлечения – минералогия, поэзия и конструирование из кубиков. Впоследствии он вспоминал, что тратил время на эти занятия «не для того, чтобы заполнить одиночество, или потому, что это было связано с учебой в школе, а просто так». В двенадцать лет он научился пользовался семейной пишущей машинкой и переписывался с местными именитыми геологами о минеральных отложениях, которые исследовал в Центральном парке. Один из партнеров по переписке, не зная, что ему писал ребенок, порекомендовал принять Роберта в нью-йоркский клуб минерологов; вскоре мальчик получил письмо с приглашением прочитать в клубе лекцию. Испугавшись перспективы выступления перед взрослыми, Роберт умолял отца объяснить членам клуба, что они прислали письмо двенадцатилетнему мальчишке. Приятно удивленный Юлиус ободрил сына и убедил его принять приглашение.