Galeazzo II Visconti, divenuto Signore della zona occidentale di Milano, costruisce, tra il 1360 e il 1370, una rocca a cavallo della cinta medievale, inglobando la pusterla di Porta Giovia o Zobia. Il successore Gian Galeazzo aggiunge alla costruzione, nel 1392, edifici per gli alloggiamenti delle truppe stipendiate. Le due parti della struttura sono separate dal fossato della cinta medievale, il cosiddetto fossato morto, e verranno collegate solo successivamente da Filippo Maria, l'ultimo dei Visconti. È proprio in questo periodo che il Castello, il più grande tra quelli edificati dai Visconti, di pianta quadrata di circa 180 metri di lato, munito di quattro torri anch’esse quadrate e di un ampio recinto, diventa residenza; i campi incolti sul lato nord-ovest si trasformano in un “zardinum” o “barcho”.

L'ultimo Signore della dinastia trascorre qui un'esistenza solitaria, confinandosi con la corte nell'immensa dimora in cui muore senza eredi legittimi. Lascia infatti una sola figlia, Bianca Maria, legittimata dall'Imperatore Sigismondo nel 1426 e andata in sposa nel 1441 al condottiero Francesco Sforza, chiamato da Filippo Maria Visconti a difendere il Ducato dai Veneziani.

Nel 1447, alla morte di Filippo Maria, i Milanesi proclamano la Repubblica Ambrosiana e la dimora di Porta Giovia, emblema del potere signorile, è in parte danneggiata.

Della rocca viscontea resta ancora oggi il basamento in pietra grigia di serizzo sul fossato morto e sui lati esterni della Rocchetta e della Corte Ducale.