Ang Ferry Building ay bumukas noong 1898 sa paanan ng Market Street, na may 245-foot clock tower na modeled sa Giralda bell tower sa Seville. Bago ang mga tulay, ito ay isa sa mga busiest transit terminals sa mundo, na may libu-libong commuters na dumadating araw-araw sa pamamagitan ng ferry.
Ang mga tulay at ang automobile ay ginawa itong halos obsolete, at sa loob ng maraming dekada ang Embarcadero Freeway ay tumatakbo direkta sa harap nito, nakatagong ito mula sa lungsod. Pagkatapos ang freeway ay bumaba noong 1990s, ang gusali ay na-restore at muling bumukas noong 2003 bilang marketplace ng local food vendors. Ang farmers market ay tumatakbo sa harap nito ng ilang araw bawat linggo. Ang clock tower ay nanatili sa 1906 at patuloy na sumusubaybay sa oras.
