Ghirardelli Square ocupa el complejo de ladrillos rojos construido entre los años 1890 y 1910 para la Ghirardelli Chocolate Company, fundada por el inmigrante italiano Domingo Ghirardelli en 1852. La empresa fabricaba chocolate aquí hasta 1962, cuando trasladó la producción al otro lado de la bahía.
En lugar de demoler la fábrica, un grupo liderado por William Matson Roth la compró y la convirtió en uno de los primeros centros comerciales de reutilización adaptativa del país, un modelo que luego fue copiado en todo Estados Unidos. El letrero iluminado de Ghirardelli en el techo es un punto de referencia, y una tienda antigua de helados y chocolate aún funciona en el interior.