Edificio lombardesco della fine del XV secolo con arioso portico terreno, ora chiuso, era l'antica sede dei Magistrati della farina. Attualmente è sede della Capitaneria di Porto.Quella dei “Signori della farina” era una carica di grande impegno e responsabilità, poiché essi dovevano provvedere ad ogni costo la popolazione dell’alimento base, e questo, in tempi in cui le carestie ricorrevano di frequente in terraferma, era veramente un compito arduo. Negli uffici del magistrato, su una pergamena pendente da un nastro, si poteva leggere l’impegno: «Giuro, nel nome di Dio ... di non avere né amici né nemici in questa mia funzione e di trovare il mezzo di far venire a Venezia grano e cereali, impegnandomi a inviare là dove sarà necessario, dei rappresentanti muniti di lettere o di denaro per l’acquisto». E che fossero fedeli a tale giuramento fu più volte palesemente dimostrato quando, durante l’imperversare di carestie in tutta Europa, a Venezia non mancò mai il grano: i provveditori, per l’approvvigionamento, si erano rivolti ai pirati!
L’antico deposito, qui adiacente, fu distrutto in epoca napoleonica per far posto ai giardini.
Dal 1756 al 1877 il palazzo fu sede dell’Accademia di Belle Arti, della quale un Tiepolo fu il primo presidente.