Il palazzo si distingue per quei due corpi di fabbrica in pietra d'Istria, con le pareti interne curvate verso l'ingresso d'acqua (formato da tre arcate), con balaustra superiore a creare due anomale terrazze. Questi interventi vengono realizzati alla fine del Settecento e addossati all'edifico già presente che risale, invece al XVII secolo, quando venne costruito sui resti di una fabbrica gotica preesistente. Sulla destra si apre un grande giardino al quale ci si immette attraverso un arco d'ingresso che venne realizzato solo verso la metà dell'Ottocento; quest'area in precedenza era occupata da un altro edificio: Palazzo Paradiso (abbattuto nel 1828). Sulla facciata posteriore, contrassegnato del civico 866, si apre il portale di terra sopra il quale insiste un enorme stemma barocco con iscrizione del XVIII secolo. L'antica famiglia patrizia dei Valier fu inclusa nella Serrata del 1297 ed è tuttora esistente. Diede due dogi e molti illustri personaggi. Come altre famiglie aristocratiche, incappò negli usi che stabilivano i loro rapporti umani e sociali col popolo, e dovette subire la condanna a morte di uno dei suoi membri, Gaspare. Giovane brillante, avvenente, ricco ma irrequieto, egli nel 1511 aveva ucciso un doganiere che lo accusava di contrabbando. Il patriarca stesso, un rappresentante dei nobili, tre avogadori e tutta Venezia infine, implorarono ai Dieci la grazia della sua vita, ma il Tribunale fu irremovibile: Gaspare Valier era un nobile e fu impiccato. Poi tutti coloro che avevano intercesso in suo favore furono solennemente rimproverati per aver commesso un'azione indegna ed i tre malcapitati avogadori, in quanto pubblici ufficiali, furono destituiti ed esclusi a vita dalla carica.Il palazzo è noto anche come Balbi Valier della Tressa, per via di una banda presente nello stemma di famiglia che ricorda una specie di treccia di capelli, è oggi suddiviso in diverse proprietà e ospita anche una interessante galleria d'arte.