Il capitano di ventura di origine romagnola, Francesco Sforza, uomo di grandi capacità militari e di notevole abilità politica, già difensore di Milano al soldo di Filippo Maria Visconti, assedia la città a sua volta riuscendo, infine, a farsi accogliere dai Milanesi come liberatore. Il 25 marzo 1450 lo Sforza e la consorte Bianca Maria Visconti sono acclamati dal popolo come Signori di Milano.

Per secoli i Milanesi hanno considerato il Castello emblema di tirannide e dominio straniero. Più volte, in una lunga storia, i cittadini hanno tentato di attaccare e demolire l’odiato edificio. Solamente con l’Unità d’Italia, trasformandosi in un centro di cultura, il Castello è diventato caro ai Milanesi e simbolo della città.

Galeazzo II Visconti, divenuto Signore della zona occidentale di Milano, costruisce, tra il 1360 e il 1370, una rocca a cavallo della cinta medievale, inglobando la pusterla di Porta Giovia o Zobia. Il successore Gian Galeazzo aggiunge alla costruzione, nel 1392, edifici per gli alloggiamenti delle truppe stipendiate. Le due parti della struttura sono separate dal fossato della cinta medievale, il cosiddetto fossato morto, e verranno collegate solo successivamente da Filippo Maria, l'ultimo dei Visconti.

Galeazzo Maria muore nel dicembre 1476 per una congiura. La vedova Bona assume quindi la reggenza per il figlio ancora piccolo, Gian Galeazzo Maria e dal 1477 fa innalzare, per poter controllare l’intero Castello, la torre centrale, che ancora oggi porta il suo nome.