Von den 1940er bis in die 1950er Jahre war das Fillmore das Zentrum des schwarzen San Francisco und einer der wichtigsten Jazz-Bezirke der Westküste, manchmal Harlem of the West genannt. Clubs entlang Fillmore und Post zogen Billie Holiday, Charlie Parker, John Coltrane und eine tiefe lokale Szene an. Das Viertel hatte sich während des Zweiten Weltkriegs mit schwarzen Arbeitern gefüllt, von denen viele in Häuser zogen, die leer waren, nachdem japanische Amerikaner in Internierungslager gezwungen wurden.
In den 1960er und 1970er Jahren zerstörten föderale Sanierungsprogramme einen großen Teil des Viertels, vertrieben Tausende von Bewohnern und löschten die meisten Clubs aus. Gehwegplatten entlang der Fillmore Street, dem Jazz Walk of Fame, markieren die Orte, an denen die Musik stattfand, und das jährliche Fillmore Jazz Festival hält die Geschichte lebendig.
