Palazzo dei Camerlenghi Venne eretto nel 1526-1528 sull'area di un'antica loggia dei mercanti e fu così chiamato perché divenne sede di una importante magistratura con l'incarico di provvedere alle finanze dello Stato.
I magistrati, appunto i "Camerlenghi", ne usavano il primo piano, mentre il piano terra era adibito a prigione per debitori insolventi. Fu il grande doge Andrea Gritti, uomo illuminato e mecenate il cui nome ancora spicca su un'iscrizione commemorativa posta sulla facciata, a dare avvio ai lavori quasi contemporanei sia del ponte (che prima era in legno e levatoio nel mezzo per permettere il passaggio ai navigli con alte alberature e al bucintoro), che di questo edificio.

I "Camerlenghi de Comun", com'erano chiamati, erano affiancati anche da altri magistrati come i "Governatori alle Entrade", i "Cinque Savi alla Mercanzia", i "Consoli" e i "Sopraconsoli", e la particolarità di questo palazzo sta proprio nel fatto che esso fu uno dei primissimi edifici europei destinati esclusivamente ad uso di pubblici uffici.
Fu edificato tra il 1525 e il 1528 ad opera di Guglielmo De Grigis detto Bergamasco, su ispirazione all'opera di Mauro Codussi e di Pietro Lombardo; si sviluppa per tre piani su una base pentagonale adattata alla curva del Canal Grande e data questa importante funzione economica, il piano terra del palazzo era destinato a prigione per i debitori insolventi, come testimoniato dal toponimo "Fondamenta de la preson". Questa esposizione dei prigionieri in piena Rialto serviva da severo avvertimento per quanti passavano.
L'edificio manca di una facciata principale e appare movimentato dal gioco delle pietre vive lavorate a diamante che lo circondano, mentre sequenze di alti finestroni centinati a varie luci interrompono l'uniformità dei fronti, che sono scanditi da lesene e trabeazioni su cui poggiano le suddette finestre (che si presentano o a pilastri o ad arco a tutto sesto).
Certo un tempo questa fabbrica appariva molto più sontuosa, adornata di ricchi fregi e elaborate cornici, ravvivata da porfidi e marmi policromi: oggi non vediamo che un riflesso della sua antica magnificenza, poiché è stata spogliata di molte delle sue decorazioni. L'austerità di questo edificio appare però un po' stemperata dalla particolare decorazione dei capitelli dei due pilastri posti ai lati del portale d'ingresso, cosa che potrebbe apparire quantomeno "licenziosa": da una parte un uomo con una zampa unghiata al posto dei genitali e, dall'altra, una donna seduta con la vagina in fiamme. La tradizione popolare lega questa rappresentazione ad un fatto accaduto durante i lunghissimi lavori per la ricostruzione del Ponte di Rialto (fra il 1514 e il 1587), quando un uomo e una donna del popolo discutendo animatamente sulla estrema lentezza con la quale procedevano i lavori per il rifacimento del ponte, avevano esclamato, l'uno, che il ponte sarebbe finito quando gli sarebbe nata un'unghia al posto dei genitali e, l'altra, quando la vagina le fosse andata a fuoco. I veneziani, salaci e sempre amanti degli scherzi, li immortalarono così, ad imperitura memoria della bonaria irriverenza.
Anticamente anche gli interni dell'edificio erano di grande ricchezza, e ciò era dovuto alla consuetudine stabilita, per tutte le magistrature veneziane, che al momento di lasciare l'incarico, i magistrati lasciassero in dono al palazzo un quadro con soggetto religioso sul quale fosse ben visibile il proprio stemma o ritratto. Una grande quantità di tele, spesso di grande pregio, finì ben presto per adornare gli uffici (tuttora sono testimonianza di questo uso i bei ritratti di "Avogadori" che si trovano all' "Avogaria de Comun" in Palazzo Ducale), e, fra i vari autori che vennero interpellati, spicca il nome di Bonifacio De Pitati che eseguì un ciclo di pitture molto ammirato da chi ha scritto d'arte veneziana. Purtroppo, con la caduta della Repubblica, nel 1806 il Regno Italico si disfece della collezione e le opere finirono divise fra la Pinacoteca di Brera, Modena, vari depositi demaniali e Vienna.
Una parte di queste opere sono poi ritornate in Italia ma non sono più state collocate nella loro sede originaria, bensì alcune sono finite alle Gallerie dell'Accademia e altre adornano le pareti di vari ambienti della Fondazione Giorgio Cini sull'isola di San Giorgio.
Oggi meraviglia, passando accanto a questo antico palazzo, come esso possa ancora sfidare l'onta del tempo, visti i pilastri dissestati che danno l'idea di una precaria stabilità e di essere sempre sul punto di cedere, ma evidentemente i criteri costruttivi furono così severi da aver conferito alla fabbrica una solidità eccezionale, che ha fatto sì che ancora oggi noi possiamo ammirarla.
Attualmente nel Palazzo dei Camerlenghi ha sede la Corte dei Conti, continuando in tal modo la tradizione secolare che vuole qui la sede della magistratura finanziaria.