L’avvicinarsi a Milano di Napoleone Bonaparte provoca l’abbandono della città da parte dell’Arciduca Ferdinando I d’Austria. Il 9 maggio 1796 rimangono in Castello solamente 2000 soldati di guardia, con a disposizione 152 cannoni, 3000 quintali di polvere esplosiva, 11000 fucili e 100 bovini. Un gruppo di Milanesi filofrancesi tenta l’attacco dell’odiata fortezza, assimilata alla celebre Bastiglia, ma viene respinto dal generale Lamy e dalla sua guarnigione. A fine giugno tuttavia il Castello è in mano francese. I nuovi occupanti lo destinano ad alloggio di circa 4000 uomini. Il rientro degli Austriaci e la successiva vittoria napoleonica a Marengo, il 14 giugno 1800, non cambiano il destino di caserma assunto dal complesso. La Cappella Ducale è ormai malinconicamente divenuta una stalla.