Ghirardelli Square bevindt zich in het roodstenen complex dat tussen de jaren 1890 en 1910 is gebouwd voor de Ghirardelli Chocolate Company, opgericht door de Italiaanse immigrant Domingo Ghirardelli in 1852. Het bedrijf maakte hier chocolade tot 1962, toen de productie over de baai werd verplaatst.
In plaats van de fabriek af te breken, kochten een groep onder leiding van William Matson Roth het en zetten het om in een van de eerste hergebruikte winkelcentra in het land, een model dat later in de hele Verenigde Staten werd gekopieerd. Het verlichte Ghirardelli-bord op het dak is een landmark, en een oude ijscrème- en chocoladewinkel is nog steeds actief inside.
