La costituzione del Regno Lombardo-Veneto seguita alla caduta di Napoleone riporta a Milano gli Austriaci nel 1815. Il Castello continua a fungere da caserma, mentre lo spazio vuoto retrostante, la Piazza d’Armi, diventa scenario per le rassegne militari.

Durante le Cinque Giornate (18-22 marzo 1848) il Castello è prigione per i Milanesi arrestati dagli Austriaci e luogo da cui Radetzky fa bombardare la città. Dopo il ritiro delle truppe asburgiche si scoprono in Castello, ammassati in vari punti, cadaveri di uomini e donne. Rientrati per quattro mesi in possesso della città, i Milanesi provvedono ad abbassare le torri rotonde. Nel 1859 si conclude definitivamente la dominazione austriaca. Il Castello è assaltato e depredato dai Milanesi, che asportano armi, suppellettili e denaro destinato alle truppe.