Proprio a ridosso della Chiesa di San Giuseppe, è uno dei palazzi più antichi e importanti della città, probabilmente esistente nel XV sec., il quale conserva ancora, quasi integro, sul lato di via S. Lorenzo, l’aspetto originario tardo cinquecentesco. Apparteneva alla famiglia de Pandi, di antica nobiltà napoletana, la quale, insignita dell’Ordine dei Cavalieri di Malta, si trasferì, intorno al XIII sec. dal paese di origine, Scala, nei pressi di Salerno, in Brindisi e poi a Nardò.

Con il matrimonio in seconde nozze della nobile Francesca Giulio, vedova de Pandi, la proprietà passò a Luigi Zuccaro e agli eredi a seguire, fino ad arrivare ai giorni nostri. Ancora oggi il palazzo è di proprietà Zuccaro.

Nell’atrio del cortile d’ingresso, a sinistra del portone, si accede, là dove un tempo era la selleria, ad un piccolo museo storico che gli attuali proprietari hanno allestito per custodire gli antichi finimenti dei cavalli e delle carrozze di proprietà della famiglia de Pandi.
Gli ambienti interni, lussuosamente decorati con carte da parati e pitture parietali ottocentesche e un raffinato mobilio, conservano intatti i segni del luminoso passato. Infatti nel 1942 il figlio di Luigi Zuccaro, Francesco, fu ben felice e orgoglioso di poter ospitare a pranzo il figlio del Re d’Italia, Umberto II di Savoia, il quale si era fermato a Nardò.