Durante la dominazione spagnola, un edificio più antico posto nel Cortile delle Armi, fu trasformato, per volere del castellano Sancho de Guevara y Padilla, in infermeria per il ricovero dei soldati della guarnigione. L’interno dell’edificio venne decorato da ghirlande con gli apostoli e cartigli con il Credo romano sulla volta e dagli emblemi della Casa Reale sulle pareti, ancora oggi visibili. Una data graffita, 1576, attesta il probabile anno di esecuzione della decorazione. L’Ospedale e l’annessa farmacia rimasero in funzione almeno fino al XVIII secolo. L’edificio, grazie al lascito Mangili, fu restaurato dall’architetto Luca Beltrami, che  nel 1907-1908 fece demolire il piano superiore, senza intervenire nell’interno.