25 марта 1450 года жители города провозгласили Франческо Сфорца и его супругу Бьянку Висконти правителями Милана.
Придя к власти, Франческо Сфорца сразу стал отстраивать резиденцию Висконти. Зная, что горожане ненавидят старое здание, он пояснил восстановление замка желанием сделать город более красивым, а также защитить от внешних врагов.
В соответствии с этим заявлением, в 1452-м году Франческо Сфорца наряду с военными инженерами приглашает в город архитектора гражданских сооружений флорентийца Антонио Аверулино, известного также как Филарете, которому герцог поручает проектирование фасада замка, повёрнутого в сторону города, с центральной башней главного входа. Тем не менее очень скоро Филарете был отстранён от работ военными архитекторами, которым Сфорца доверял больше.
Интересно, что отстранённый от работ Филарете остался в Милане. Он все же успел построить главную башню замка (названную в его честь), а также здание центральной больницы Милана – Оспедале Маджоре. Около 1465 года Филарете завершил здесь свой обширный труд: «Трактат об архитектуре» (итал. Il Trattato di Architettura) в 25-ти книгах. Большая часть трактата построена в форме диалога между герцогом и архитектором, и посвящена детальному описанию идеального города Сфорцинда, названному не без лести по имени Франческо Сфорца. Вскоре после этого Филарете впал в немилость у миланских властей, поскольку критически оценил в своей книге ломбардскую готику.
Любопытно и то, что миланские архитекторы, работавшие над стенами московского Кремля, взяли за основу внешний вид замка Сфорца с характерными башенками его фасада.
А тем временем комиссар, ответственный за укрепительные сооружения герцогства, пристроил к фасаду две круглые угловые башни, что было продиктовано необходимостью защиты против новой артиллерии.
Завершающие и декоративные работы велись и при наследнике Франческо Сфорца. В 1468 году Галеаццо-Мария Сфорца переезжает в замок со своей супругой Боной ди Савойя и её двором. В это время окончательный вид приобретают внутренние дворы, ведётся роспись залов, строится герцогская капелла.
Однако, в 1476 году в результате заговора Галеаццо-Мария умирает. У него остается наследник Джан-Галеаццо-Мария, но поскольку на момент смерти отца мальчик является малолетним, власть временно переходит к вдове герцога. Именно Бона ди Савойя в 1477 году распорядилась выстроить центральную башню замка, откуда бы она могла контролировать всё происходящее при дворе. Башня до сих пор носит её имя.
Однако, даже башня не помогла Боне ди Савойя удержаться у власти. Её отправил в изгнание брат покойного мужа – Лудовико-Мария Сфорца, более известный как Лудовико Моро.
Будучи человеком образованным по меркам своего времени Лудовико Моро покровительствует искусствам и приглашает в Милан уже в тот период прославленных художников Донато Браманте и Леонардо да Винчи. В замке Сфорца да Винчи расписал «пиковый зал», который можно