Grande valore architettonico e ambientale per questo edificio pubblico che fu costruito da Angelo da Orvieto poco dopo la realizzazione del Palazzo Comunale. Incarico dai Tarlati di Pietramala, fu terminato nel 1368 quando il Comune affittò più della metà delle botteghe sottostanti.
L'architetto trovò soluzioni stilistiche particolari e mai utilizzate, usando dei filarotti di pietra serena levigata e squadrata. Sulle botteghe al pian terreno, all'altezza delle lunette sopra i portali, si ammirano consunti fregi e stemmi dei Podestà che governarono la città.
Il palazzo, oltre ad una serie di stupende bifore al piano nobile, mantiene integra una sola facciata, quella verso Corso Cavour. La facciata su piazza Matteotti venne interamente rifatta da Nicola Barbioni nel 1687 e il loggiato su Piazza Fanti fu realizzato nel 1620. Molto particolare e di grande interesse storico culturale, il doppio orologio delle ore e dei minuti, con la caratteristica unica del quadrante della rosa dei venti posto sopra di essi.
Il voltone di ingresso al palazzo è indicato da arco più ampio e comunica con la piazza retrostante, mentre l'unico restauro, risalente al 1921, riguarda solo le bifore.
Oggi è il simbolo della città; situato in Pizza Matteotti in pieno centro storico, rappresenta una figura iconica dell'identità sociale e culturale della città.
