Ghirardelli Square ocupa o complexo de tijolos vermelhos construído entre os anos 1890 e 1910 para a Ghirardelli Chocolate Company, fundada pelo imigrante italiano Domingo Ghirardelli em 1852. A empresa fabricava chocolate aqui até 1962, quando mudou a produção para o outro lado da baía.
Em vez de demolir a fábrica, um grupo liderado por William Matson Roth a comprou e a converteu em um dos primeiros centros de varejo de reutilização adaptativa do país, um modelo posteriormente copiado em todos os Estados Unidos. O letreiro Ghirardelli iluminado no telhado é um marco, e uma loja antiga de sorvete e chocolate ainda funciona dentro.
