The Ferry Building öffnete 1898 am Fuß der Market Street mit einem 245 Fuß hohen Uhrenturm, modelliert nach dem Glockenturm Giralda in Sevilla. Vor den Brücken war es eines der verkehrsreichsten Terminals der Welt, mit Zehntausenden von Pendlern, die täglich per Fähre ankamen.
Die Brücken und das Automobil machten es fast obsolet, und für Jahrzehnte führte die Embarcadero Freeway direkt davor vorbei und verbarg es der Stadt. Nach dem Abriss der Freeway in den 1990er Jahren wurde das Gebäude restauriert und 2003 als Marktplatz mit lokalen Lebensmittelanbietern wiedereröffnet. Ein Farmers Market läuft mehrmals pro Woche davor. Der Uhrenturm überstand 1906 und zeigt noch immer die Zeit an.