Ghirardelli Square opptar den røde murkompleksen som ble bygget mellom 1890-tallet og 1910-tallet for Ghirardelli Chocolate Company, grunnlagt av italiensk immigrant Domingo Ghirardelli i 1852. Selskapet laget sjokolade her til 1962, da det flyttet produksjonen over bukten.
I stedet for å rive fabrikken, kjøpte en gruppe ledet av William Matson Roth den og gjorde den om til et av de første adaptive-reuse handelsentere i landet, en modell som senere ble kopiert på tvers av USA. Det opplyste Ghirardelli-skiltet på taket er et landemerke, og en gammeldags is- og sjokoladebutikk fungerer fortsatt innenfor.
