Ghirardelli Square befindet sich in dem roten Backsteingebäude, das zwischen den 1890er und 1910er Jahren für die Ghirardelli Chocolate Company gebaut wurde, die 1852 von italienischem Einwanderer Domingo Ghirardelli gegründet wurde. Das Unternehmen stellte hier Schokolade her, bis es 1962 die Produktion über die Bucht verlagerte.
Anstatt die Fabrik abzureißen, kaufte eine von William Matson Roth angeführte Gruppe sie und wandelte sie in eines der ersten Adaptive-Reuse-Einzelhandelszentren des Landes um – ein Modell, das später in den gesamten Vereinigten Staaten kopiert wurde. Das beleuchtete Ghirardelli-Schild auf dem Dach ist ein Wahrzeichen, und ein altmodischer Eiscreme- und Schokoladenladen ist noch immer vorhanden.
