В 1939 году мать была арестована за вооруженный грабеж заправочной станции и приговорена к пяти годам заключения в тюрьме штата Западная Виргиния. Когда она вышла из тюрьмы, Чарли было 8 лет.
С тех пор мальчик жил в компании сменявших друг друга «дядей», его домом стали дешевые номера в гостиницах, где Чарли частенько приходилось просиживать одному целыми днями. Позже в его деле будет сделана следующая запись: «Мать Мэнсона, а также те многочисленные мужчины, которые, по его словам, жили с ней, мало о нем заботились».
В 1947 году Чарли попал под опеку окружных властей, которые направили его, никому не нужного мальчика, в его первое, но, увы, далеко не последнее исправительное учреждение – воспитательный дом Гибо для мальчиков в Тер-Оте (штат Индиана).
В обнаруженном там журнале о нем была сделана следующая запись: «Плохо привыкает к режиму… Отношение к учебе в лучшем случае весьма посредственное… В те редкие моменты, когда Чарлз ведет себя послушно и чувствует себя хорошо, он производит впечатление приятного мальчика… Подвержен приступам дурного настроения и страдает манией преследования».
Просидев 10 месяцев в Гибо, Мэнсон убежал к своей матери, которая вновь отреклась от него. В это время Мэнсон стал уже приобщаться к преступной жизни. Он воровал, грабил, снова попадался и снова убегал.
В 16-летнем возрасте Мэнсон попадает за угон автомобиля под федеральную юрисдикцию и направляется в федеральную исправительную школу для мальчиков в Вашингтоне (округ Колумбия), где, согласно приговору, должен был находиться, пока ему не исполнится 21 год. Именно в Плейнфилде Чарлз Мэнсон впервые стал жертвой гомосексуального изнасилования, после чего он и сам стал совершать подобные акты.
Первый чиновник, занимавшийся изучением его дела, охарактеризовал Мэнсона как «16-летнего подростка из неблагополучной семьи, если только слово „семья“ можно здесь употребить», и как настроенного «агрессивно и антиобщественно». Через три месяца он сделал следующую запись: «Судя по всему, этот юноша имеет чрезвычайно расстроенную психику и определенно нуждается в осмотре врачом-специалистом».
Вместе с тем в первые годы его пребывания в исправительно-трудовой школе врач-психиатр, отмечал, что, хотя Чарлз Мэнсон и имеет некоторые отрицательные черты, он еще не потерян полностью для общества. «Учитывая болезненно переживаемое ощущение ненужности, психическую неуравновешенность и душевную надломленность, вызванные ярко выраженным чувством неполноценности