Interessante costruzione del primo Rinascimento veneziano (fine del XV secolo) per il cui progetto sono stati fatti i nomi di Mauro Codussi, Pietro Lombardo, Giovanni Antonio Buora.Davvero unica appare la sapiente mescolanza di forme bizantine e motivi di decoro ispirati al classico che conferisce a quest'opera architettonica un'aura, al contempo, di severità e di grazia, molto ammirata anche dal famoso John Ruskin.
La bella facciata, rivestita di marmo e decorata con tondi policromi, è tripartita da lesene che delimitano il settore mediano caratterizzato da allungate pentafore ad arco.
Non si sa chi sia stato il committente. Fu acquistato tra il 1562 e il 1582 dai Contarini dal Zaffo, cosiddetti per i loro commerci con Jaffa (Zaffa) in Palestina e per l'assunzione del titolo di conti di Jaffa.
E' il primo palazzo in cui si riscontrano più motivi fondamentali derivati dal consueto repertorio gotico, e qui sta la sua maggiore importanza, in quanto in esso si avvia un processo di rinnovamento che ben presto investirà tutta l'architettura veneziana. Del precedente periodo sopravvivono, nella facciata, soltanto tondi marmorei sopra le finestre, la tipologia allungata delle aperture e il motivo dell'anfora che, in cima alle finestre, sostitutisce il fiore che è tipicamente gotico.
L'architetto autore del progetto, forse Mauro Codussi o Pietro Lombardo o Giovanni Antonio Buora, introdusse in questo edificio una nuova cultura antiquaria decorativistica in cui è forte l'influenza toscana: i bassorilievi classicistici presenti sulla pentafora centrale (con il tipico motivo delle ghirlande e delle aquile) e nel basamento, gli archi buccellati e l'esatta scultura dei pilastri d'angolo sovrapposti, sono tutti elementi che a Firenze si potevano vedere spesso nei palazzi contemporanei. E forte resta l'idea che si sia avvertita molto l'influenza di quel Michelozzo Michelozzi, architetto di fiducia del gran signore di Toscana Cosimo de Medici, che nel 1433 aveva lavorato a Venezia costruendo la prima libreria del convento dell'isola di San Giorgio Maggiore, poi andata distrutta in un incendio, opera molto ammirata dai contemporanei per bellezza e pulizia del disegno.
Nel XVIII secolo gli interni furono decorati con pitture di Giandomenico Tiepolo, di cui rimangono alcuni fregi in cui raffigurò satiri, vasi, strumenti musicali e trionfi romani. Egli eseguì anche un dipinto: Apoteosi di guerriero, poi esportato a Colonia e distrutto nel 1945, durante la seconda guerra mondiale.
Nel 1758 passò ai Manzoni, ricchissimi mercanti di seta che successivamente lo vendetta ai duchi Polignac che ne sono tutt'oggi proprietari. E fu proprio una Polignac, la principessa Edmonda, che nei primi decenni del XX secolo dette vita, proprio in queste sale, ad uno dei salotti culturali più noti dell'epoca con ospiti come Igor Stravinsky, Ethel Smyth, Proust, Sargent, Curtis e Picasso.