Az Althann Mihály Károly püspök által ásatott kétszintes pince fölé Migazzi Kristóf építtette fel Meissl József bécsi építész tervei szerint a jelenlegi palotát 1768 és 1775 között. Az U-alakú, kétemeletes, klasszicizáló barokk palota legdíszesebb része a főbejárat és a felette elhelyezkedő hármas ablakos díszterem. Vele szemben található az 1878-ban épült Egyházmegyei Könyvtár és Levéltár épülete.