Fu dapprima un semplice pontone, in parte appoggiato su barche, che si chiamava "ponte della moneta" perché su quella che è ora la Riva del Ferro esisteva la prima Zecca veneziana. Esso venne costruito nel 1170 - secondo la leggenda - da quello stesso architetto Barattieri che riuscì poi a sollevare a San Marco le due alte colonne portate dall'Oriente dal doge Michiel.La crescente importanza del mercato di Rialto sulla sponda orientale del canale fece aumentare il traffico sul ponte galleggiante Sotto il dogado di Marino Morosini fu ordinato un ponte su palafitte, sorto poi nel 1265. La struttura era costituita da due rampe inclinate che si congiungevano presso una sezione centrale mobile, che poteva essere sollevata per consentire il passaggio delle navi più alte. Data la stretta associazione con il mercato, il ponte cambiò nome e diventò Ponte di Rialto. Nella prima metà del XV secolo lungo i lati del ponte vennero costruite due file di negozi. I proventi derivanti dagli affitti, riscossi dalla tesoreria di stato, contribuivano alla manutenzione del ponte.
Nel 1310 il ponte fu danneggiato nel corso della ritirata dei rivoltosi guidati da Bajamonte Tiepolo, inseguiti dagli armati del doge. Un successivo ponte, sempre in legno, crollò nel 1444 sotto il peso della folla che vi si accalcava per poter meglio ammirare il corteo di nozze della marchesa di Ferrara. Il Carpaccio dipinse il ponte che seguì, fisso ai lati e levatoio al centro per permettere il passaggio delle imbarcazioni. Fu soltanto il sesto ponte che finalmente venne gettato in pietra. Dopo che nel corso del '500 numerosi architetti avevano presentato dei progetti - da Fra' Giocondo a Michelangelo, Sansovino, Palladio, Vignola -, l'incarico fu affidato nel 1588 ad Antonio Da Ponte, e dopo tre anni di lavoro, l'impiego di 12.000 pali per rinforzare le basi delle testate e una spesa di 250.000 ducati, nel 1591 il nuovo e definitivo ponte veniva inaugurato e fu completato nel 1591 durante il dogado di Pasquale Cicogna, come ricordano le lapidi ai quattro lati.
Per quanto riguarda la progettazione, il Da Ponte probabilmente ne fu il coordinatore, ma nella stessa sono accreditati anche Alvise Baldù e Vincenzo Scamozzi. La struttura è molto simile a quella del precedente ponte in legno, segno della corretta concezione originale, ad una sola arcata di 28,7 metri di lunghezza e 7,50 metri di altezza, coronata da una doppia serie simmetrica di 12 arcate per parte: qui vennero sistemate le botteghe con apertura verso la parte centrale del ponte, le quali in origine furono sede di banche e uffici finanziari e oggi sono negozi attivissimi.
La riva destra del Canal Grande giù dal ponte di Rialto è detta Riva del Vin, perché qui stavano i depositi di tutto il vino e degli alcolici che Venezia consumava. Nei dipinti del Carpaccio si possono vedere gli osti sciacquar le loro botti nel canale, davanti a navi da carico ormeggiate. La riva sinistra è detta invece del Ferro o del Carbon.
Il progetto fu da alcuni considerato fin troppo audace dal punto di vista ingegneristico, al punto che secondo l'architetto Vincenzo Scamozzi il ponte sarebbe crollato. Il ponte invece resiste tuttora, ed è diventato uno dei simboli architettonici di Venezia.
Rialto è stato l'unico ponte di Venezia che attraversava il Canal Grande fino al 1854, anno di costruzione del ponte in ferro che collegava il Campo della Carità nel sestiere di Dorsoduro con il Campo San Vidal nel sestiere di San Marco di fronte alle Gallerie dell'Accademia chiamato appunto Ponte dell'Accademia.
Sull'archivolto sud, le figure scolpite dell'Angelo Gabriele da un lato, della Vergine dall'altro nell'atto di ricevere il celeste messaggio, con la Colomba tra i due, ricordano la leggendaria data di fondazione di Venezia, avvenuta, secondo antica tradizione, il 25 marzo, festa dell'Annunciazione, dell'anno 421. La data è richiamata, insieme a quella di costruzione del ponte, nell'epigrafe scolpita sui quattro piedritti.
«Pascale Ciconia Vene tiarum Duce - anno Cristi MDXCI Vrbis conditae MCLXX - curantibus Aloysio Georgio Proc. - M. Barbaro Eq. et Proc. - Jacobo Foscareno Eq. et Proc.»
Sull'archivolto opposto sono scolpite le figure di San Marco e di San Teodoro, l'attuale ed il precedente protettore della città. Queste sono opere di Tiziano Aspetti, mentre le figure dell'Annunciazione, l'Arcangelo Gabriele, la Madonna e la colomba al centro sulla chiave di volta che sembra trasmigrare dall'Arcangelo a Maria, sono di Agostino Rubini, tutte eseguite appena conclusa la costruzione del ponte.
Un ponte con botteghe, doveva essere sicuro e solido e che lasciasse passare le imbarcazioni sotto di esso, anche le più grandi. Le vicissitudini storiche ritardarono la costruzione; la pestilenza del 1576 e l'incendio di Palazzo Ducale nel dicembre del 1577 costrinsero i Magistrati a rinviare l'edificazione del ponte, tanto che il Canaletto lo dipingeva seguendo i disegni del Palladio in un famoso capriccio, come un anticipazione di quanto sarebbe dovuto essere costruito successivamente. Ma non sempre la storia segue la strada indicata per favorita.
La costruzione iniziò dopo interminabili discussioni e tentennamenti, soprattutto per valutare gli interessi economici dei proprietari dei negozi sul vecchio ponte.
Fra le malelingue di quel tempo, racconta una storiella popolare, ci furono un uomo e una donna. L'uomo andava dicendo: «Non si riuscirà a concludere la costruzione di questo ponte, forse crollerà prima di essere ultimato. Sarà ultimato quando questo - e indicava la propria appendice virile - metterà l'unghia». La donna esclamava: «Non sarà mai portato a termine! Ci scommetto questa - e indicava il basso ventre - me la farò bruciare se riusciranno a finirlo!». Forse non sapevano che altrove erano state gettate da molti secoli arcate di dimensioni ben maggiori. Sui capitelli di due pilastri di palazzo dei Camerlenghi, ai piedi del ponte, sono scolpiti due bassorilievi rappresentanti un uomo accosciato, con una terza gamba dal piede marcatamente unghiato che gli cresce fra le due normali, e una donna accovacciata sulle fiamme. Sarebbero, secondo la tradizione, i due scornati oppositori dell'architetto Da Ponte.
Il Ponte di Rialto ha 42 gradini per ogni rampa laterale, che sono più bassi di quelli centrali per permettere ai carrelli per il trasporto delle merci di attraversarlo facilmente, più dodici verso la Riva del Buso, quindici verso la Riva del Vin, vicino al palazzo dei Camerlenghi sono diciotto, verso la Riva del Ferro sono quindici. Le due rampe centrali, invece, sono costituite da cinque gruppi di scalini da cinque ognuno, e sei gruppi da tre, per un totale di 43 verso il mercato; mentre verso Campo San Bartolomeo sono "solo" 37 (5x5 e 4x3). Per attraversarlo quindi si possono salire e scendere da un minimo di 80 gradini ad un massimo di 120 gradini.