Si tratta di due edifici adiacenti di epoche diverse. Palazzo Corfù (quello a destra) è edificio quattrocentesco tardogotico, assai simile al vicino palazzo Loredan dell'Ambasciatore, ha facciata tripartita con ricche quadrifore al centro. Fu rimaneggiato internamente nel XVII secolo probabilmente ad opera di Francesco Smeraldi, seguace palladiano che aveva portato a termine la facciata di San Pietro di Castello.Palazzo degli Scrigni (a sinistra) è opera del 1609 di Vincenzo Scamozzi e risente dei vincoli imposti all'architetto dalle preesistenze e dalle richieste dei committenti.
I rapporti tra la nobile famiglia Contarini e lo Scamozzi duravano da lunga data, infatti l'architetto aveva accompagnato l'ambasciatore di Venezia in Francia, Francesco Contarini, alla fine del XVI secolo e aveva già avuto modo di lavorare per lui. Diventati proprietari dei due edifici contigui, i Contarini chiesero all'architetto di risistemarli in maniera tale che venisse conservata la facciata quattrocentesca di uno dei fabbricati e che gli ambienti risultassero unificati sia nell'altezza che nella pianta, in modo da dare l'impressione dall'interno di vivere in una casa disegnata unitariamente. Ovviamente questa particolare richiesta condizionò non poco il lavoro del progettista che fu costretto ad inserire nella facciata finestre tanto allungate da attirare le dure critiche degli architetti ottocenteschi Antonio Diedo e Pietro Selvatico i quali, di contro, ammiravano però il bellissimo basamento ben distribuito e la soluzione dei mezzanini. Sono chiare le reminescenze sansoviniane nel prospetto che eleva il pianterreno a bugnato e i piani superiori scanditi da lesene, tra le quali si aprono le finestre centinate. Sopra il tetto, oltre l'abbaino, si vede la torretta che conclude la bella scala ovata interna. Internamente notevole era la libreria distribuita in più sale e decorata con dipinti di Pietro Liberi e del Padovanino.
Il nome Corfù dato all'edificio più antico è chiara allusione ai traffici che i Contarini svolgevano in quell'isola; mentre l'appellativo "degli Scrigni" della fabbrica scamozziana si riferisce alla favolosa ricchezza di questo ramo della famiglia e alla gran quantità di scrigni posseduti nella fastosa villa di Piazzola sul Brenta.
Girolamo Contarini, nel 1838, lasciò alla città di Venezia la sua preziosa collezione di quadri, conservata alle Gallerie dell'Accademia. Passato poi a Mathilde Berthold, il palazzo fu restaurato nella seconda metà dell'Ottocento ma sostanzialmente non ha subito modifiche ed è in ottimo stato.