Mula sa 1940s hanggang sa 1950s, ang Fillmore ay ang sentro ng Black San Francisco at isa sa pinakamahalagang jazz districts sa West Coast, kung minsan ay tinatawag na Harlem of the West. Ang mga clubs sa Fillmore at Post ay naakit si Billie Holiday, Charlie Parker, John Coltrane, at isang malalim na lokal na eksena. Ang neighborhood ay napuno ng Black workers sa panahon ng World War II, marami ay lumipat sa mga tahanan na naging walang laman nang ang mga Japanese American residents ay sapilitang ipadala sa internment camps.
Sa 1960s at 1970s, ang mga federal redevelopment programs ay binasag ang karamihan ng district, na nagpalayas ng libu-libong residents at nag-alis ng karamihan ng mga clubs. Ang sidewalk plaques sa Fillmore Street, ang Jazz Walk of Fame, ay nagmamarka kung saan nangyari ang musika, at ang taunang Fillmore Jazz Festival ay pinapanatiling makikita ang kasaysayan.
