После выхода из детского дома в марте 1938 года Геберт был определен на завод «Фрейзер» имени Калинина учеником электрослесаря. Прожив три месяца в общежитии при заводе, он связался с Кольцовым, который, уступая его просьбе, дал согласие прописать его в квартире Марии. Тогда же он взял в жены комсомолку по фамилии Широкова.
В декабре 1938 года Губерт договорился с Кольцовым, что тот обеспечит ему материальную возможность учиться в техникуме, но через три дня того арестовали. Губерту пришлось вернуться на завод, где теперь, когда он стал практически родственником «врага народа», относились к нему совсем иначе. В автобиографии Губерт писал, что начальник начал к нему придираться, да так, что тот не выдержал и снова ушел с завода. Устроиться на хорошую работу он не смог, хотел даже вернуться в Германию к родителям, но выяснилось, что уезжать в сущности уже некуда. Семья эмигрировала куда-то во Францию, и жилось ей там нелегко. В итоге Губерт устроился на работу в Государственную библиотеку иностранной литературы. И в 1939 году подал заявление на гражданство.
После начала войны, как и всех неблагонадежных иностранцев, Губерта отправили в Казахстан, где до окончания войны он работал заведующим колхозной библиотекой. В 1943 году он женился, на сей раз уже вполне официально, на немке Амалии Андреевне Франк, и в 1946 году у супругов родилась дочь Элеонора. К тому времени Губерту доверили чуть более ответственную работу, нежели заведование библиотекой, – он стал участковым механиком в колхозе, и, судя по всему, с новыми обязанностями справлялся неплохо.
Когда закончилась война, Губерт попросил разрешение на выезд в Германию, но не получил его. Более того, видимо, его желание покинуть «страну чудес» насторожило органы безопасности, потому что в 1947 году совершенно неожиданно Губерта обвинили в краже. Совершился суд, в итоге которого он получил пять лет лишения свободы. И уже в тюрьме он был повторно обвинен в чем-то совершенно «чудесном» – попытке взорвать лагерную водокачку, после чего к его сроку добавили еще семь лет…
В 1957 году, отсидев десять лет от положенного срока, Губерт написал в прокуратуру прошение о реабилитации. Его дело было пересмотрено и срок сокращен, Губерт вышел на свободу.
Возвращение Губерта Лосте в Москву произвело даже некоторый фурор. О нем все давно забыли, его никто не ждал, никто не знал, что делать с ним дальше. Губерт снова просил о том, чтобы его выпустили в Германию, но это было решительно невозможно. Набирала обороты холодная война, а Саарская область находилась на территории ФРГ, и возвращение мальчика из «страны чудес», хлебнувшего столько горя и лишений, безусловно, имело бы совсем не нужный для Советского Союза резонанс.
С Губертом решили договориться. Ему предоставили возможность жить там, где ему хочется. Губерт выбрал Крым. Ему предоставили дом и возможность работать механизатором в одном из колхозов. Ему даже разрешили встретиться с матерью. Отец и четверо братьев Губерта погибли, сражаясь во французском Сопротивлении, и фрау Лосте разрешили