Раннее детство мальчиков прошло в Копенгагене, где тогда работал их отец. После октябрьского переворота, потеряв все состояние, семья перебралась во Флоренцию, где знатный титул графов Кассини звучал громко и мог открыть многие двери. Фамилию жены взял и отец семейства Александр Лоевский. Художественно одаренная Маргерит Кассини начала работать во флорентийском шляпном ателье графини Фабрикотти, а потом открыла собственный модный дом Cassini, который наверняка подтолкнул юного дизайнера, наблюдавшего за работой матери, к выбору этой профессии.
Олег рос в прекрасной Флоренции, городе художников и аристократов, впитывая окружавшую его атмосферу творчества. Каждый, хоть раз побывавший в этом городе-музее, не может не полюбить флорентийское искусство, воспитавшее целую школу великих мастеров архитектуры, скульптуры и живописи. Дважды в год Олег сопровождал мать в поездках в Париж, где изучал и зарисовывал новейшие французские модели. Хотя изначально семья планировала для Олега дипломатическую или военную карьеру, он поступил во флорентийскую Академию изящных искусств, старейшую академию живописи в Европе, где его учителем был знаменитый художник Джорджо де Кирико.
В 1934 году Олег Кассини выиграл международный конкурс моды в Турине, представив публике женский костюм с большими пуговицами в стиле «казак». Впоследствии крупные пуговицы станут фирменным знаком многих его моделей и чуть ли не единственным украшением лаконичных костюмов, которые в 1960-е Кассини создаст для Жаклин Кеннеди.
В 1935 году молодой дизайнер получил место художника по эскизам в модном доме Жана Пату. Дом Жана Пату считался в 1920-е и 1930-е годы одним из самых высококлассных домов моды в Париже. Жан Пату был прямым конкурентом Шанель, много работал с трикотажем, шелком и шерстью. Но парижская карьера Олега Кассини не очень задалась, и в 1936 году вместе с младшим братом Игорем он переехал в Нью-Йорк. В 1937 году Олег Кассини открыл в Нью-Йорке свой первый модный салон, полностью основанный на его опыте, приобретенном как во Франции, так и в доме Пату.
В 1939 году состоялось открытие студии мод Олега Кассини уже в Голливуде, где он подписал контракт с кинокомпанией Paramount Pictures на создание костюмов для фильмов, причем со своими потенциальными работодателями он познакомился на теннисном турнире, в котором принимал участие. Первой работой Кассини в Голливуде в качестве художника кино стал фильм «Я мечтала о крыльях» (I Wanted Wings) с красавицей Вероникой Лейк в главной роли. Сначала он получал на студии 250 долларов в неделю и в основном разрабатывал костюмы для актрис фильмов категории B, но карьера молодого дизайнера быстро набирала обороты. В 1940-е и 1950-е Кассини был связан и с другими крупными голливудскими киностудиями и создавал наряды для таких признанных звезд, как Мэрилин Монро, Натали Вуд и Грейс Келли.
Успех сопутствовал дизайнеру и на светском поприще. Олег был интересным спортивным молодым мужчиной с аристократическими манерами, владел несколькими языками, хорошо одевался и очень нравился дамам. А дамы нравились ему. В первый раз он женился в 1938 году на дочери богатого чикагского промышленника Мерри Фарни, эксцентричной и своенравной особе, для которой это был уже четвертый брак. Семейная жизнь пары не задалась и закончилась скандальным разводом со взаимными обвинениями в изменах в 1940 году.
В 1941 году Олег Кассини создал костюмы для фильма известного режиссера Джозефа фон Штернберга «Жестокий Шанхай» (The Shanghai Gesture). Главную роль в нем сыграла актриса Джин Тирни, которая и стала второй женой дизайнера. С тех пор она носила на экране только наряды от Кассини. Родители Тирни были против их брака, и влюбленные сбежали в Лас-Вегас, где незамедлительно поженились, использовав серьги Джин в качестве обручальных колец. У Кассини и Тирни родилось две дочери – старшая, Антуанетта-Дария, к сожалению, была глухой и умственно отсталой из-за краснухи, перенесенной Джин во время беременности. В 1950 году Кассини и Тирни даже появились вместе на экране в фильме «Там, где кончается тротуар» (Where the Sidewalk Ends). Олег исполнил роль дизайнера в эпизоде, а Джин играла модель. Но брак это не спасло, и в 1952 году он закончился разводом. Кассини обещал жене заботиться о дочерях и по завещанию оставил каждой 25 % своего немалого состояния. Остальное досталось его третьей жене Марианне, брак с которой продлился с 1971 года до его смерти.
Олег Кассини получил американское гражданство в 1942 году и пошел добровольцем в армию, где служил сначала в береговой охране, а потом в кавалерии, где ему довелось познакомиться с будущим президентом США Рональдом Рейганом. Он был умелым наездником, не раз подчеркивал,