Как бы то ни было, семейный бизнес Скоттов был сосредоточен на их собственной пекарне, открытой отцом Чарльза Александром в 1920 году. Как и его сын в будущем, Чарльз дружил с пареньком по имени Ангус. Двое подростков мечтали сбежать к морю, пока его отец Алек не положил конец этому безумию. После этого случая Чарльз стал работать в семейной пекарне вместе со своим старшим братом Джорджем. При этом Алек не был тираном, наоборот, он всегда был готов выпить после работы и любил петь вместе со своими сыновьями.
Джейн, мать Чарльза и Джорджа, сподвигла второго научиться играть на фортепиано. Чарльз тоже пробовал играть, но ему больше нравилось петь и развлекать народ своими шутками и историями. Однажды он сказал австралийскому журналисту Клинтону Уокеру: «Я просто любил выходить из дома, хорошо проводить время и быть немного хулиганом». Когда началась Вторая мировая война, 22-летний Чарльз уже был членом территориальных войск и был призван на фронт в составе британской армии. Там он служил в качестве пекаря и сначала попал во Францию, а позже в Ирландию, Северную Африку и Италию.
Во время тренировок в прибрежном городе Киркальди Чарльз познакомился с Изабель Каннингэм Митчелл – Изой – на субботних танцах. Иза, темноволосая стройная девушка с милым личиком, была одной из четырех дочерей в семье и всегда была в курсе всех событий. Как и Чарльз, она любила музыку и росла в музыкальной среде. И мать, и отец девушки играли на фортепиано и на органе. «У отца приятный оперный голос», – говорила она Уокеру.
В 1941 году во время одного из армейских отпусков Чарльза они с Изой поженились. Джейн Скотт была в ужасе. Скотты были владельцами пекарни и считали себя «почтенными людьми», или «средним классом», и Джейн, по ее же словам, была «очернена» тем, что ее сын женился на ком-то, как ей казалось, ниже себя, на ком-то «из простого рабочего класса». Но Чарльзу было 23 года, он был солдатом и больше не собирался слушать, что ему делать, а чего не делать.
Два года спустя Иза родила их первого ребенка. Мальчика назвали Сэнди, но малыш умер через девять месяцев. Чарльз даже не успел его увидеть. Когда он демобилизовался в декабре 1945 года, Иза уже была беременна вторым сыном.
Они вернулись в Кирримуир и поселились в скромном