Caduto sotto il dominio francese nel 1499, il Ducato di Milano nello spazio di trent’anni è conteso tra Francesi, Imperatore germanico e Sforza. Per la città e per il Castello sono anni difficili. Ai tempi della dominazione francese nel giugno 1521 la Torre del Filarete, trasformata in deposito di munizioni, scoppia causando danni alle murature circostanti. In quel frangente muore il castellano.

Don Ferrante Gonzaga, capitano generale e luogotenente dell’Imperatore, promuove dal 1549 una notevole opera di difesa, che circonda Milano e difende il Castello con una fortificazione a stella a dodici punte, quanto di più aggiornato per l’epoca in termini di fortificazioni. L’antica dimora sforzesca diventa residenza per una vasta guarnigione.

Durante la guerra di successione spagnola, nel 1706 Eugenio di Savoia conquista Milano per conto dell’Imperatore Giuseppe I d’Asburgo. Non si registrano novità per quanto concerne il Castello, eccetto il cambio di nazionalità degli occupanti. Per gli ambienti sforzeschi prosegue un percorso di rovina, le sale subiscono danni molteplici, si vanno deteriorando le volte, gli affreschi, le decorazioni a stucco.