Från 1940-talet in på 1950-talet var Fillmore centrum för Svart San Francisco och ett av de viktigaste jazzdistriken på västkusten, ibland kallat Harlem of the West. Klubbar längs Fillmore och Post attraherade Billie Holiday, Charlie Parker, John Coltrane och en djup lokal scen. Området hade fyllts med svarta arbetare under andra världskriget, många flyttade in i hem som lämnats tomma när japansk-amerikanska invånare tvingades till internering.
På 1960- och 1970-talen demolerade federala omvandlingsprogram mycket av distriktet, vilket förvisade tusentals invånare och raderade de flesta klubbarna. Gatstenar längs Fillmore Street, Jazz Walk of Fame, markerar var musiken ägde rum, och den årliga Fillmore Jazz Festival håller historien synlig.
