De 1940 até 1950, o Fillmore era o centro de San Francisco Black e um dos distritos de jazz mais importantes da Costa Oeste, às vezes chamado de Harlem do Oeste. Clubes ao longo de Fillmore e Post atraíram Billie Holiday, Charlie Parker, John Coltrane e uma cena local profunda. O bairro se encheu de trabalhadores Black durante a Segunda Guerra Mundial, muitos se mudando para casas deixadas vazias quando residentes Japanese American foram forçados a entrar em campos de internação.
Nos anos 1960 e 1970, programas federais de revitalização urbana demoliram grande parte do distrito, deslocando milhares de residentes e apagando a maioria dos clubes. Placas nas calçadas ao longo de Fillmore Street, o Jazz Walk of Fame, marcam onde a música acontecia, e o Fillmore Jazz Festival anual mantém a história visível.
