Dal X secolo l’area fu sede della residenza vescovile e qui sorgeva la chiesa di S. Giorgio, in seguito inglobata nel palazzo. L’attuale struttura è il risultato del rifacimento del presule Filippo de’ Medici per mano degli architetti Francione e Baccio Pontelli (metà XV secolo). La facciata è frutto di una sistemazione neorinascimentale della prima metà dell’Ottocento, caratterizzata dal contrasto tra intonaco e profili in pietra a vista. Nel cortile spicca la statua di Andrea Vaccà raffigurante Mosè (XVIII secolo). Il giardino della Limonaia, attiguo al palazzo, è stato recentemente restaurato.
