Il Castello Ricostruito dagli Sforza
Nel corso di soli tre anni Francesco Sforza, grazie a grandi capacità militari e notevole abilità politica, dapprima difende Milano dalle mire espansionistiche di Venezia, poi assedia a sua volta la città e infine riesce a farsi accogliere dai Milanesi come liberatore e Signore, sempre validamente supportato dalla consorte Bianca Maria Visconti, straordinaria figura femminile della storia quattrocentesca. Lo Sforza e la Visconti entrano ufficialmente in città, acclamati dal popolo, il 25 marzo 1450.
La ricostruzione della fortezza viscontea, quasi subito iniziata, è giustificata agli occhi dei cittadini con la volontà di abbellire la città e di garantire la sua sicurezza contro eventuali nemici esterni. A conferma di questa intenzione il nuovo Signore, nel 1452, affianca agli ingegneri militari Jacopo da Cortona, Giovanni da Milano e Marcoleone da Nogarolo un architetto civile, il Fiorentino Antonio Averulino detto il Filarete, incaricato di progettare la facciata verso la città, con l'alta torre centrale d'ingresso. Tuttavia, benché il Castello debba apparire come un'elegante residenza e non ricordare ai cittadini la fortezza di Filippo Maria Visconti, il Filarete viene presto allontanato e i lavori passano sotto la direzione dell'architetto militare Bartolomeo Gadio, uomo di fiducia dello Sforza, già dal 1452 Commissario per le fortezze del Ducato. Il Castello di Porta Giovia è così dotato di massicce torri rotonde rivestite di serizzo a punta di diamante e di articolate opere di difesa, tra le quali la "Ghirlanda", una cortina muraria di forma quadrangolare, spessa più di tre metri, che si collega alle mura di Milano e difende dalla parte del parco, circondandole, la Rocchetta e la Corte Ducale. La struttura, già esistente in epoca viscontea ma ampliata e rinforzata in età sforzesca, è dotata di due torri rotonde agli angoli e di una strada coperta, ancora in parte esistente.
Per il compimento dei lavori, ostacolati dalla chiesa del Carmine, posta nell'area dove sta sorgendo il Castello, lo Sforza chiede addirittura al Papa, tramite il suo oratore Giacomo Calcaterra, il permesso di demolire l'antica chiesa. Nel 1452 la fortezza è abitata soltanto dal castellano Foschino degli Attendoli, che alloggia nella torre all'angolo sud della Rocchetta, dai balestrieri e da alcuni sfortunati prigionieri, rinchiusi nel sotterraneo della torre.
Negli stessi anni si costruisce un muro di cinta intorno al barcho, popolato di caprioli, cervi, lepri, fagiani e pernici fatti portare dalle zone di Varese, del Seprio e del lago di Como; al vero e proprio parco di caccia si affiancano, all'interno del recinto, frutteti e aree agricole coltivate a frumento, segale, miglio e avena.
Con la consueta abilità politica, Francesco e Bianca Maria non trasferiscono la propria residenza in Castello: quando si trovano a Milano continuano a vivere nella vecchia Corte d'Arengo presso il Duomo, accessibile ai cittadini.