The Ferry Building opende in 1898 aan de voet van Market Street, met een 245 voet hoge klokkentoren naar het model van de Giralda-klokkentoren in Sevilla. Voor de bruggen was het een van de drukste vervoersterminals ter wereld, met tienduizenden forenzen die dagelijks per veerboot aankwamen.
De bruggen en de auto maakten het bijna overbodig, en decennialang liep de Embarcadero Freeway er direct voor langs, waardoor het aan het zicht van de stad werd onttrokken. Nadat de snelweg in de jaren negentig werd gesloten, werd het gebouw gerestaureerd en in 2003 heropend als een marktplaats met lokale voedselverkopers. Een boerenbeurs wordt enkele keren per week ervoor gehouden. De klokkentoren heeft 1906 overleefd en geeft nog steeds de tijd aan.