Fra 1940-tallet til 1950-tallet var Fillmore sentrum for Black San Francisco og en av de viktigste jazzdistriktene på vestkysten, noen ganger kalt Harlem of the West. Klubber langs Fillmore og Post trakk Billie Holiday, Charlie Parker, John Coltrane, og en dyp lokal scene. Nabolaget hadde fylles med svarte arbeidere under andre verdenskrig, mange som flyttet inn i hjem som var tomme da japanske amerikanske innbyggere ble tvunget inn i internleirene.
På 1960- og 1970-tallet ødela føderale fornyingsprogrammer mye av distriktet, og fordrev tusenvis av innbyggere og slettet de fleste klubbene. Sidewalk plaques langs Fillmore Street, Jazz Walk of Fame, merker hvor musikken skjedde, og den årlige Fillmore Jazz Festival holder historien synlig.
