Знакомство Шиффа с Гарриманом произошло в 1884 г., когда последний стал директором «Иллинойс Сентрал», но их первый важный деловой контакт, судя по всему, произошел в 1894 г., когда фирма «Кун, Лёб и Кº» помогла «Иллинойсу» приобрести «Чесапик, Огайо и Юго-Запад». Когда в том же году возникла необходимость выпустить облигации «Иллинойс Сентрал», Шифф предложил поискать рынок сбыта для них во Франции и обсудил данный вопрос с Касселем и Нетцлином. Его предложение не увенчалось успехом, главным образом из-за непомерных налогов и других сборов, которые пришлось бы уплатить во Франции. В сентябре 1895 г. Шифф переписывался с Гарриманом относительно подробностей другого займа, но в то время Гарриман в первую очередь занимался «Юнион Пасифик».
Свое высокое мнение о прежней финансовой политике «Иллинойс Сентрал» Шифф подтверждает в письме от сентября 1899 г. президенту компании Стуивзанту Фишу: «Позвольте Вас поздравить с мудрой политикой, которую Вы проводите много лет. Вы не жалеете средств на усовершенствование и прирост производственных мощностей, что, при нынешнем росте цен на все необходимое для железных дорог, должно стать для Вас большим утешением, как и для Ваших директоров и акционеров. Желаю Вашему правлению дальнейших успехов и т. д.».
В феврале 1900 г. Шифф снова пишет Фишу и выражает радость по поводу того, что компания приняла его предложение и постепенно наращивает интенсивность грузоперевозок: «С радостью узнал, что Вы согласны с моим мнением о том, что в будущем самыми необходимыми железными дорогами в Соединенных Штатах станут такие, которые смогут управляться с большими объемами битуминозного угля. Вместе с Вами я верю, что у компании «Иллинойс Сентрал» имеются все предпосылки для того, чтобы получить прибыль от увеличивающегося спроса на битуминозный уголь… Стремление компании развивать грузоперевозки, которые до сих пор считались пасынками других направлений, несомненно, принесет свои плоды».
Акции «Иллинойс Сентрал» в течение многих лет активно раскупались, и, как обычно бывает в таких случаях, полномочия при голосовании почти автоматически переходили к правлению. Когда «Юнион Пасифик» приобрела очень большой пакет акций компании, реинвестировав часть сумм, вырученных от продажи своих пакетов «Нозерн Пасифик» и «Грейт Нозерн», создалось новое положение. Летом 1906 г. назрело недовольство большинства директоров методами работы Фиша, и началась борьба за власть, которая в ноябре 1907 г. окончилась выбором в президенты Дж. Т. Харахана. В марте 1908 г., по требованию акционеров, Фиша уволили с поста президента компании. Сочувствие Шиффа было всецело на стороне Гарримана и его коллег в их желании исправить злоупотребления, допущенные в годы правления Фиша, и он приложил все усилия, чтобы разъяснить Фишу тяжесть