Caduto sotto il dominio francese nel 1499, il Ducato di Milano nello spazio di trent’anni è conteso tra Francesi, Imperatore germanico e Sforza. Per la città e per il Castello sono anni difficili. Ai tempi della dominazione francese nel giugno 1521 la Torre del Filarete, trasformata in deposito di munizioni, scoppia causando danni alle murature circostanti. In quel frangente muore il castellano. Quando Francesco II Sforza, secondogenito del Moro, torna al potere, il Castello, opportunamente restaurato, ma ormai privo della torre d’ingresso, ospita le nozze tra lo Sforza e Cristina, figlia del sovrano di Danimarca, celebrate il 3 maggio 1534.

Dopo questo sfarzoso evento l’edificio perde definitivamente il carattere di dimora signorile.

L’ultimo Sforza lascia erede del Ducato l’Imperatore spagnolo Carlo V.