Fu necessaria l’edificazione di una cappella fra il 1535 e il 1541 che venne costruita sul lato sinistro del palazzo. Questa cappella fu costruita negli anni  dall’architetto Antonio Belguardo e prese il nome di "Chiesa di S. Maria della Pietà".

Nel XVII secolo con la costruzione di una chiesa più grande (l'odierna Chiesa di Santa Maria della Pietà ) fu allora abolita e suddivisa in diversi vani. La parte anteriore con l’ingresso su via Alloro fu adibita a parlatorio mentre la parte retrostante fu trasformata in magazzini e tolto l’altare, fu realizzata una porta di accesso nel muro dell’abside.

Nel 1943 il palazzo venne colpito da un bombardamento aereo e crollarono la loggia, il porticato, tutta l’ala sud-ovest e la parete della torre ovest. Le autorità decisero allora di provvedere al suo restauro e di trasformare il palazzo in "Galleria d’Arte per le collezioni d’arte medievale".

Furono ricostruiti il portico, la loggia e il salone centrale di cui era crollato il soffitto. Questi lavori furono ultimati a metà 1953 e fu allora chiamato Carlo Scarpa  per curare l’allestimento e l’arredamento della Galleria che venne aperta al pubblico nel 1954. Scarpa realizzò anche diversi adattamenti di questi restauri per le necessità dell’allestimento.

Dopo un periodo di chiusura nel 2009 il museo è stato riaperto, conservando il lavoro di Scarpa sono state riviste e create nuove ali (le nuove sale verde e rossa) ai piani superiori compresa una terrazza sul tetto.