Ближе к концу 1866 г. Шифф заключил партнерское соглашение с Генри Баджем из Гамбурга, тогда жившим в Нью-Йорке, а затем ставшим членом фирмы «Халлгартен и Кº», и с Лео Леманном, который тогда находился в Европе, но по настоятельному совету Уильяма Бонна вернулся в Америку и поступил в новую фирму. 1 января 1867 г., когда Джейкобу не исполнилось и двадцати лет, открылась посредническая контора «Бадж, Шифф и Кº». По словам Баджа, Шифф демонстрировал здравомыслие и энергию. Он добивался успеха с самого первого дня и сам вел значительную часть дел. В 1872 г., когда Бадж находился в Европе, умер его отец, и он, по просьбе матери, решил остаться в Европе, сообщив своим партнерам, Шиффу и Леманну, о решении оставить фирму, которую после ухода Баджа в конце того же года пришлось ликвидировать.
Шифф собирался обосноваться в Америке и с этой целью получил американское гражданство. Его натурализация прошла в Суде общегражданских исков в городе и округе Нью-Йорк 8 сентября 1870 г. В 1872 г. Шифф вступил в Торговую палату штата Нью-Йорк. После ликвидации фирмы «Бадж, Шифф и Кº» Шифф поехал в Европу, хотя ненадолго приезжал оттуда в Америку, чтобы помочь в ликвидации фирмы «Бадж, Шифф и Кº». В то время Мориц Варбург из гамбургской фирмы «М.М. Варбург и Кº» искал представителя для «Лондонско-ганзейского банка» (теперь Лондонский коммерческий банк). В число основателей Лондонского банка входили Гамбургский коммерческий и дисконтный банк и другие партнеры; несколько его директоров были родом из Гамбурга. Они в основном занимались акцептованием векселей для гамбургских фирм. Поскольку желательно было, чтобы банк представлял один человек, Варбург еще в 1873 г. воспользовался случаем и предложил Шиффу должность управляющего, который уполномочен был отчитываться перед банковским комитетом в Гамбурге. Назначение Шиффа зафиксировано в циркулярном письме банка от 1 мая 1873 г. Однако в Гамбурге он оставался недолго. После смерти отца Джейкоб переехал из Гамбурга во Франкфурт, чтобы быть с матерью. Его отставка зафиксирована в протоколе заседания совета директоров от 4 сентября 1873 г.
Во Франкфурте Шифф пробыл около года, а затем Абрахам Кун, старший партнер фирмы «Кун, Лёб и Кº», который тогда приезжал в гости во Франкфурт, предложил ему переехать в Нью-Йорк и вступить в фирму. Шифф согласился не сразу, так как не хотел покидать овдовевшую мать. Но она понимала настроения сына и бескорыстно посоветовала ему вернуться в Соединенные Штаты, сказав: «Ты создан для Америки». Поэтому он вернулся в Нью-Йорк и с 1 января 1875 г. приступил к работе в фирме «Кун, Лёб и Кº».
За два года до этого, во время тогдашнего пребывания в Нью-Йорке, Шифф познакомился с Терезой, старшей дочерью Соломона Лёба, хотя в то время видел ее всего один раз. После того как он вступил в фирму ее отца, молодые люди познакомились ближе и 6 мая 1875 г. поженились. Их союз можно назвать по-настоящему счастливым. Иногда Шифф бывал