Ghirardelli Square ay sumasaklaw sa red-brick complex na itinayo mula 1890s hanggang 1910s para sa Ghirardelli Chocolate Company, na itinatag ng Italian immigrant Domingo Ghirardelli noong 1852. Ang kumpanya ay gumawa ng chocolate dito hanggang 1962, kung kailan ito lumipat ng produksyon sa kabila ng bay.
Sa halip na sirain ang pabrika, isang grupo na pinamuno ng William Matson Roth ay bumili nito at nag-convert sa isa sa mga unang adaptive-reuse retail centers sa bansa, isang modelo na mamaya ay kopyahin sa buong United States. Ang illuminated Ghirardelli sign sa bubong ay isang landmark, at isang old-fashioned ice cream at chocolate shop ay patuloy na nag-ooperate sa loob.
