Il palazzo sorge sulle rovine di più abitazioni risalenti al XVI nell’antico Pittagio San Paolo, lo stesso quartiere che aveva accolto la comunità ebraica sino al 1942.

Quest'immobile in via Tafuri fu completamente ricostruito dalla famiglia Tafuri nel 1842 in stile neoclassico.

L’atmosfera che si respira nelle immense stanze del palazzo è quella tipica ottocentesca, con grandi sale dai soffitti affrescati secondo i gusti pittorici propri del Neoclassicismo.