L'edificio, a fianco del duomo, fu realizzato a metà del Settecento, sostituendo due edifici preesistenti, dal conte Guido Porta che lo vendette nel 1756 al marchese Giuseppe Bianchi. I lavori di costruzione si conclusero nel 1765 con il palazzo che fu arricchito di uno scenografico scalone e con i soffitti a volta del primo piano impreziositi da affreschi di Giuseppe Bazzani.
Venduto alla diocesi nel 1824 dal marchese Alessandro Bianchi, accoglie ora la residenza del vescovo e gli uffici della Curia. Nel 1967 il vescovo Antonio Poma fece ricavare nell'interrato un ambiente destinato all'archivio storico diocesano.