Отец Роберта, Юлиус Оппенгеймер, родился 12 мая 1871 года в немецком городе Ханау на востоке от Франкфурта. Отец Юлиуса, Беньямин Пинхас Оппенгеймер, никогда не учившийся в школе крестьянин, торговавший зерном, вырос в деревенской лачуге, напоминавшей, как потом писал Роберт, «германское средневековье». У Юлиуса имелись двое братьев и три сестры. В 1870 году двоюродные братья Беньямина, Зигфрид и Соломон Ротфельды, женившись, эмигрировали в Нью-Йорк. Вместе с еще одним родственником, Й. Х. Штерном, эти два молодых человека основали компанию, импортировавшую подкладку для мужских костюмов. Компания процветала, успешно снабжая бурно растущую городскую торговлю готовой одеждой. В конце 80-х годов XIX века Ротфельды сообщили Беньямину Оппенгеймеру, что в компании найдется место и для его сыновей.
Юлиус прибыл в Нью-Йорк весной 1888 года, через несколько лет после старшего брата Эмиля. Высокого, тощего, неуклюжего парня определили на склад сортировать ткань в рулонах. Хотя Юлиус не внес денег в капитал компании и не говорил ни слова по-английски, он был полон решимости выбиться в люди. Новый работник умел хорошо подбирать цвета и со временем приобрел репутацию одного из самых сведущих «суконщиков» города. Эмиль и Юлиус благополучно пережили кризис 1893 года. К началу XX века Юлиус приобрел в фирме «Ротфельд, Штерн и компания» статус полноправного партнера. Одевался тоже по чину – в неизменную белую сорочку со стоячим воротничком, консервативный галстук и деловой костюм темной расцветки. Манеры изысканностью не уступали платью. По общему мнению, Юлиус был приятным молодым человеком. «Ваше обращение сразу же вызывает крайнюю степень доверия, – писала его будущая жена в 1903 году, – причем в лучшем, благородном смысле». К тридцатилетнему возрасту Юлиус на удивление хорошо говорил по-английски и без чьей-либо помощи приобрел широкие познания в американской и европейской истории. Будучи большим любителем искусства, по выходным дням он проводил свободное время в многочисленных арт-галереях.
Вероятно, в одно из таких посещений его и представили молодой художнице Элле Фридман, «изысканно-красивой» брюнетке с тонкими, точеными чертами лица, «выразительными серо-голубыми глазами и длинными черными ресницами», стройной фигурой и… от рождения деформированной кистью правой руки. Чтобы скрыть изъян, Элла постоянно носила одежду с длинными рукавами и пару замшевых перчаток. Под перчаткой на правой руке скрывался незатейливый протез с искусственным большим пальцем на пружине. Юлиус влюбился в художницу. Семейство Фридманов происходило из баварских евреев и обосновалось в Балтиморе еще в 40-е годы XIX века. Элла родилась в 1869 году. Друг семьи однажды описал ее как «кроткую, изысканную, худую, довольно высокую, голубоглазую