В 1875 г., в двадцативосьмилетнем возрасте, после семи лет проживания в Америке, обладавший острым умом и европейской подготовкой, полный энергии, Шифф энергично занялся делами банка «Кун, Лёб и Кº».
Основатели фирмы – Абрахам Кун и Соломон Лёб. Они образовали товарищество в Лафайетте (штат Индиана) около 1850 г., а позже переехали в Цинциннати, где много лет успешно торговали товарами смешанного ассортимента, а также предоставляли широкие торговые кредиты. Они удалились от дел в 1865 г. и переехали в Нью-Йорк. Когда стремление возобновить дела стало непреодолимым, их мысли, естественно, обратились к коммерческому банковскому делу, в котором оба имели большой опыт, и 1 февраля 1867 г. в Нью-Йорке была образована банковская фирма. Однако вскоре партнеры решили уделить больше внимания ценным бумагам и постепенно создали рынок государственных и железнодорожных облигаций. К тому времени, как в фирму вступил Шифф, партнеры значительно расширили сферу деятельности, хотя их по-прежнему затмевали некоторые более старые банкирские дома Нью-Йорка.
Неясно, какую точно роль сыграл Шифф в стремительном росте фирмы. Его личные тетради до 1887 г. исчезли, и период в 12 лет, с 1875 до 1887 г., невозможно описать так же всесторонне, как последующие годы. Более того, не сохранилось почти никаких письменных свидетельств, датированных ранее 1880 г. О раннем периоде деятельности Шиффа в какой-то степени можно судить по его переписке с Эрнестом Касселем из Лондона, начавшейся в 1880 г. Сохранилось около 1500 писем Шиффа к Касселю, и даже первые письма дают представление о том уникальном месте, какое занимал Кассель и его фирма в кругу партнеров Шиффа.
Эдуар Нетцлин, почетный президент Парижского и Нидерландского банков, вспоминает случай, имевший большое значение для последующих финансовых операций Шиффа. В Европе, через посредничество Бишоффсхаймов из Парижа и Голдсмидов из Лондона, был образован синдикат с капиталом примерно 12 млн долларов с целью инвестиций в Америке. После финансового краха 1873 г. прекратилось поступление доходов от некоторых видов ценных бумаг, и синдикат решил послать в Америку Нетцлина, чтобы тот лично во всем разобрался. Перед второй поездкой Нетцлина в Америку его друг Кассель предложил ему навестить Джейкоба Шиффа, подающего надежды молодого