Van de jaren 1940 tot in de jaren 1950 was Fillmore het centrum van zwart San Francisco en een van de belangrijkste jazzwijken aan de Westkust, soms genoemd de Harlem van het Westen. Clubs langs Fillmore en Post trokken Billie Holiday, Charlie Parker, John Coltrane aan en hadden een sterke lokale scene. De buurt was volgelopen met zwarte arbeiders tijdens de Tweede Wereldoorlog, velen verhuisden naar huizen die leeg waren gelaten toen Japans-Amerikaanse bewoners in interneringskampen werden gedwongen.
In de jaren 1960 en 1970 sloopten federale herontwikkelingsprogramma’s een groot deel van het district, verplaatsten duizenden bewoners en wisten de meeste clubs uit. Trottoir-plaques langs Fillmore Street, de Jazz Walk of Fame, markeren waar de muziek zich afspeelde, en het jaarlijkse Fillmore Jazz Festival houdt de geschiedenis zichtbaar.
