Fra 1940’erne ind i 1950’erne var Fillmore centrum for Black San Francisco og et af de vigtigste jazzkvarterer på vestkystens, nogle gange kaldet Harlem of the West. Klubber langs Fillmore og Post tiltrak Billie Holiday, Charlie Parker, John Coltrane og en dyb lokale scene. Kvarteret blev fyldt med Black-arbejdere under Anden Verdenskrig, mange flyttede ind i boliger forladt, da japansk-amerikanske beboere blev tvunget til interneringslejre.
I 1960’erne og 1970’erne nedrev føderale byfornyelsesprogrammer meget af distriktet, fordrev tusinder af beboere og slettede de fleste klubber. Fortovplaketter langs Fillmore Street, Jazz Walk of Fame, markerer hvor musikken fandt sted, og den årlige Fillmore Jazz Festival holder historien synlig.
