На новом месте Гарри вновь оказался чужаком – немцем, не знающим литовского языка. В десятилетнем возрасте он почувствовал, что значит быть не таким, как другие. В 1940 году Литву оккупировала Красная Армия, и вновь мальчишка страдал – уже из-за того, что не знал русского языка.
В 1941 году, в первые дни войны, Каунас захватили немцы, и еврейской семье Гродберг снова пришлось скрываться от нацистов. Затем они переехали в Среднюю Азию, в узбекский город Наманган. Там Гарри продолжил занятия музыкой у профессоров эвакуированной Минской консерватории.
В 14 лет он решил, что станет профессиональным музыкантом. Вернувшись из эвакуации в Литву, окончивший школу с золотой медалью Гродберг поступил в Вильнюсское музыкальное училище. Так как класса органа не существовало, одаренный юноша осваивал технику игры на фортепиано. Затем он приехал в столицу СССР, где поступил в музыкальное училище при Московской государственной консерватории и, наконец, в консерваторию. Там Гарри учился сразу на двух отделениях – фортепиано и органа. Его педагогами были выдающиеся музыканты – пианист А. Б. Гольденвейзер и органист А. Ф. Гедике. Профессор Александр Федорович Гедике, основатель московской органной школы, говорил о своем любимом ученике: «У Гарри редкая, врожденная виртуозность в ногах». (Для непосвященных: органист играет на нескольких клавиатурах для рук и отдельно для ног.) По выражению Гарри Яковлевича, к органу его вела сама любовь.
В 1955 году талантливый музыкант окончил консерваторию с золотой медалью. Знаменитый пианист Святослав Рихтер, уловив нечто фанатичное в облике игравшего на консерваторских панихидах Гарри Гродберга, дал молодому органисту рекомендацию на работу солистом Московской государственной филармонии. Иначе кто бы его, иногородца, без московской прописки, взял на работу в столице? Директор филармонии принял Гарри на договор без гарантии оплаты (должности органиста здесь тогда еще не существовало) и заметил ему сочувственно: «Вы, молодой человек, умрете с голоду. Ваш Бах в концертных залах народа не соберет».
Когда молодой Гродберг начинал свою карьеру, залы на органных концертах пустовали, а органистов называли неудачниками «из несостоявшихся пианистов». Органы в основном использовались только для исполнения траурной музыки или в качестве аккомпанирующего вокалистам инструмента. В ту пору в СССР было всего семь органов, из них три – в Москве. Для советской музыкальной культуры этот инструмент являлся экзотическим. Да что говорить об органах, если тогда даже хороших роялей не хватало! Например, в Большом зале Московской консерватории стояли еще «Бехштейны», подаренные когда-то Советскому Союзу министром иностранных дел Германии Риббентропом.
Однако с первых же выступлений нового солиста Московской филармонии, посвященных Баху, публика буквально повалила