Но, несмотря на эти размолвки, сближение немецкого спорта и международного олимпийского движения было неизбежным. Эта тенденция стала вполне отчетливой, когда в 1924 году в состав Международного олимпийского комитета были введены президент имперского комитета физической культуры Теодор Левальд и Оскар Раперти, являвшийся главой Немецкого союза весельного спорта. После этого Карл Дим был просто-напросто вынужден вновь искать контактов с олимпийцами. В 1925 году Левальд, Дим и еще пять немецких спортивных функционеров официально принимали участие в VIII Олимпийском конгрессе, который проходил в Праге. На этот раз немцы не только были полноправными участниками мероприятия, но даже сыграли на нем важную роль. Когда Германия в 1926 году вступила в Лигу Наций, то постепенно нормализовались международные и внешнеполитические отношения. После этого Карл Дим вновь стал верить в то, что было возможно возвращение к изначальным идеям олимпийского движения. Впрочем, эти события встретили понимание далеко не у всех. С протестами выступали многие националистические спортивные объединения, к числу которых можно отнести «Немецкий турнершафт». Они пытались организовать бойкот Олимпийским играм, которые в 1928 году проходили в Амстердаме. Спортсмены-националисты считали невозможным состязаться с представителями стран, с которыми Германия воевала в Первой мировой войне. Это считалось «национальным позором». Но, вопреки этому сопротивлению, Германия все-таки приняла участие в этой Олимпиаде.
Однако конфликт на этом не был исчерпан. В знак протеста «Немецкий турнершафт» вышел из состава Немецкого имперского комитета физической культуры. Вернуть организацию в комитет удалось не сразу. Карлу Диму пришлось приложить для этого немало усилий. Однако итогом этих нелицеприятных переговоров стало создание Немецкого