Questa sontuosa dimora sul Canal Grande, conosciuta un tempo come "il Grimani dall'albero d'oro" per la particolare denominazione di questo ramo della famiglia, è da annoverare sicuramente tra gli edifici più eleganti in stile lombardesco costruiti a Venezia. Precedentemente, sullo stesso sito, sorgeva un palazzo antichissimo, del XII secolo, il cui aspetto conosciamo grazie al disegno della pianta di Venezia cinquecentesca, opera di Jacopo De Barberi e, nella metà del Cinquecento, risistemato secondo i canoni della moda fatta conoscere in città dai Lombardo. Sia il progetto del prospetto che i lavori interni vennero probabilmente a Giovanni Buora. Pur se modesto per le proporzioni spicca per la grande abbondanza delle decorazioni e per la raffinata eleganza degli elementi plastici: ad esempio, la splendida aquila ad ali spiegate che svetta sul capitello angolare del pianterreno. La facciata, completamente rivestita di marmo e ben proporzionata, rivela evidenti influssi lombardeschi: è tripartita da lesene composite rifinite da capitelli corinzi con ariose trifore al centro dei piani superiori e finestre arcuate ai lati, inframezzate da specchiature e da tondi e targhe policromi. Le finestre del pianterreno sono a edicola con timpano triangolare e fanno da cornice al bel portale d'acqua ad arco riquadrato e abbellito con tondi marmorei policromi. Grande profusione di decorazioni dunque, molte delle quali erano un tempo dipinte in oro, forse in omaggio alla definizione particolare di questo ramo dei Grimani: si alternano tondi e rettangoli in marmi preziosi a festoni, capitelli e fregi seguendo un disegno ove ricercatezza e sfarzo di certo non dovevano mancare. E se tanto sontuoso appare l'esterno, altrettanto preziosi sono gli interni, più volte rimaneggiati nel corso dei secoli; dell'originaria planimetria non molto sappiamo, se non che essa riprendeva quella di Ca' Rezzonico e che esisteva una bellissima scala scoperta nel cortile, in stile lombardesco, poi distrutta. Secondo testimonianze di scrittori dell'epoca, il salone da ballo del palazzo era impreziosito tutt'intorno da un fregio dipinto da Jacopo Tintoretto e da Maria Robusti rappresentante i Baccanali.Nel corso della prima metà del Settecento il palazzo fu modificato profondamente negli interni, mentre un secondo intervento venne effettuato quando vi entrò ad abitare il doge Piero Grimani (il cui dogado coprì gli anni che vanno dal 1741 al 1752), un grande ammiratore e sostenitore delle idee illuministe che andavano diffondendosi in quegli anni, al punto che la sua dimora divenne un cenacolo per molti e importanti esponenti di questa linea di pensiero.
Fu forse la caduta della Repubblica a causare l'inizio dell'inevitabile decadenza; nel 1808 furono vendute all'incanto la libreria e la pinacoteca fra i cui tesori si trovava anche Il ricco Epulone; di Bonifacio Veronese, che ora si può ammirare alle Gallerie dell'Accademia. Nel 1825, forse in occasione di un matrimonio fra un Manin e una Grimani, venne eseguita una decorazione a fresco realizzata da Carlo Bevilacqua il quale, in un delle stanze sul Canal Grande, narrò le delicate storie di Amore e Psiche, giunte fino a noi. Nel XX secolo il palazzo passò, per varie vicende, di mano in mano, fino all'attuale proprietario che ha saputo conservare con cura e attenzione questa stupenda magione.