Il Seminario Vescovile fu istituito nel 1674 dal vescovo Tommaso Brancaccio sul luogo dove sorgeva dal 1343 l’Ospedale di S. Antonio o della Misericordia, che fu trasferito dove oggi c’è il Conservatorio.

Per ampliare gli spazi e renderli più funzionali il vescovo Antonio Sanfelice acquistò una serie di abitazioni private e botteghe, che trasformò realizzando l’intero lato sud dell’edificio e parte del lato prospicente la Cattedrale. Nel corso degli anni il Seminario fu più volte ampliato e restaurato.

Il palazzo Vescovile fino agli inizi del XIX sec. occupava gran parte dell’attuale piazza Pio XI, che non esisteva, costeggiato da via Duomo, che davanti alla Cattedrale si allargava alquanto, dopo che nel 1725 la sua facciata fu arretrata di oltre sette metri. Nel 1831 il vescovo Salvatore Lettieri avviò l’opera di abbattimento e ricostruzione dell’Episcopio, la cui facciata fu arretrata fino ad essere messa in linea con la Cattedrale, creando la piazza antistante. Diversi sono stati gli interventi negli anni. Attualmente il primo piano è adibito a residenza del vescovo e al pianoterra vi sono gli uffici della Curia Diocesana.