В 1914 году семья решила вернуться в Россию. Фирсов, инженер по дизелям, заранее списался с Коломенским паровозостроительным заводом, куда и устроился на работу. Революция застала Фирсовых в Нижнем Новгороде. Теперь отец трудился на эвакуированном из Риги заводе «Фельзер и Ко». Оля Фирсова на крутых приволжских склонах Нижнего Новгорода успешно осваивала катание на горных лыжах, удивляя своим мастерством нижегородцев.
В 1929 году семья Фирсовых переехала в Ленинград, где отец начал работать на заводе «Русский дизель». В 1930 году Афанасия Осиповича арестовали. Он был осужден на пять лет лишения свободы. Однако личность арестованного талантливого инженера А.О. Фирсова, находившегося в то время в Москве, на Лубянке, привлекла внимание наркома тяжелого машиностроения С. Орджоникидзе, не желавшего терять ценных специалистов, в которых остро нуждалась бурно развивающаяся промышленность страны. Афанасия Осиповича расконвоировали и назначили начальником конструкторского бюро Т-2. Это было специальное КБ по разработке конструкции быстроходного танка. Фирсовым и его сотрудниками были разработаны танки, которые успешно выдержали испытания и хорошо зарекомендовали себя в боях в Испании и под Халхин-Голом. На одном из военных парадов на Красной площади Афанасий Осипович Фирсов собственноручно провел новый танк на большой скорости впереди колонны бронетанковых частей.
14 марта 1937 года в Харькове он был снова арестован. 10 декабря 1937 года А.О. Фирсова приговорили к расстрелу, и в тот же день приговор был приведен в исполнение. Только 12 июля 1957 года Военная коллегия Верховного суда СССР полностью реабилитировала Афанасия Осиповича Фирсова за отсутствием состава преступления.
«Влияние отца на нас, детей, было очень сильным, – вспоминала Ольга Афанасьевна. – Мы ощущали его, даже когда отца не было… его слова, его голос. Он был большим патриотом и очень требовательным. Все, о чем он просил, мы выполняли беспрекословно. Авторитет его в семье был непререкаем».
С Олей отец очень дружил. Ее смелость ему импонировала. Афанасий Осипович поддерживал в детях рискованные начинания. Мать никогда не возражала.
Порядочность, чувство долга и ответственность были само собой разумеющимися понятиями в этой удивительной семье. Оля росла очень общительной. Делала все в жизни добросовестно и сноровисто, должно быть, это было заложено в генах. Однажды отец спросил Олю, не хочет ли она научиться играть на рояле. Девочка сказала, что хочет. После этого в доме появился огромный рояль. Оле шел тогда одиннадцатый год. И Афанасий Осипович не мог предполагать тогда, что сам предопределил будущую профессию дочери. Оля начала заниматься музыкой с учительницей. Поначалу музыкой увлекался и брат Игорь. Но скоро бросил это занятие, охладел. Оля не бросила.
Поступила учиться в музыкальное училище Василеостровского района Ленинграда. Одновременно преподавала музыкальное воспитание в 105-й школе для трудновоспитуемых детей. Отсюда с 1929 года и начался отсчет ее трудового стажа. В это же время она экстерном сдала вступительные