Разгром французов сопровождался для растущего еврейского сообщества в России периодом относительной свободы от царских погромов, в течение которого дед Орлова с отцовской стороны создал процветающее лесопромышленное коммерческое предприятие, стал одним из столпов бобруйской синагоги и одним из ее главных благодетелей. В 1885 году он ездил в Палестину с делегацией русских евреев, чтобы купить там землю во время Aliya Rishona – первой волны эмиграции, воодушевленной призывом «Веth Уа’акоv lehu venelha» («Дети Иакова, идемте!»). Дедушка Фельдбин вложил большие средства в покупку участка болотистой земли, названного «Врата надежды», в расчете на то, что его можно будет осушить и основать там поселение. В последние годы жизни Орлов с гордостью вспоминал, что его семья внесла свой вклад в создание государства Израиль в виде земельного участка, на котором был построен процветающий город Петах-Тиква5.
Хотя Орлов рос в последние десятилетия царского правления, его семья сохраняла прочные религиозные устои, несмотря на возобновившиеся погромы и волну антисемитизма. Семьи русских евреев, надеявшиеся построить лучшую жизнь, сталкивались с преследованиями и подпадали под действие дискриминационных законов, запрещающих религиозным меньшинствам доступ в верхние эшелоны имперской бюрократии, к определенным профессиям и службе в Вооруженных силах. Фельдбины передали веру своим детям как нечто большее, чем драгоценное духовное наследие; для Орлова это стало движущей силой в развитии личности и формировании характера. Это позволило ему пережить трудные времена, наставшие после того, как его семья решила остаться в России после неудачной попытки революционного переворота 1905 года, когда тетушки, дядюшки и двоюродные братья и сестры Фельдбиных предпочли присоединиться к массовому исходу в Соединенные Штаты6.
Среди тех, кто эмигрировал из Бобруйска и достиг положения в Америке, были многочисленные кузены, его друзья детства, самыми примечательными из которых были Исаак Рабинович, ставший попечителем нью-йоркского университета Брандиса, и Натан Курник, превратившийся в преуспевающего бизнесмена. Когда впоследствии Орлов оказался в изгнании в Америке, он обнаружил, что родственники, старые друзья, в том числе и его одноклассник Борис Розовский, были готовы оказать ему поддержку.
Розовский вспоминал, что в детстве ребята любили играть с Орловым, потому что он был предприимчивым, смекалистым и вообще прирожденным лидером. В первом томе его дела из архивов КГБ имеется портрет Орлова в подростковом возрасте, изготовленный бобруйским фотографом. На нем изображен молодой человек в сюртуке с высоким воротничком, с аккуратно разделенными пробором волосами, полными губами и торчащими ушами. Слегка насмешливое выражение лица и уверенный взгляд дают основания предполагать, что даже в годы ранней юности Орлов не страдал отсутствием самоуверенности. По словам Розовского, он был «одним из лучших учеников в школе», к тому