Ghirardelli Square ligger i det røde mursten-kompleks, der blev bygget mellem 1890’erne og 1910’erne for Ghirardelli Chocolate Company, grundlagt af italiensk immigrant Domingo Ghirardelli i 1852. Virksomheden producerede chokolade her indtil 1962, da produktionen flyttede til den anden side af bugten.
I stedet for at nedrive fabrikken, købte en gruppe ledet af William Matson Roth den og omdannede den til et af de første adaptive-reuse butikscentre i landet, en model, der senere blev kopiet på tværs af USA. Det illuminerede Ghirardelli-skilt på taget er et kendetegn, og en gammeldags is- og chokoladebolig opererer stadig indvendig.
