Lafayette Park ay isang hilltop green na nakakaitan ng Washington, Sacramento, Gough, at Laguna. Sa loob ng maraming dekada sa ika-19 na siglo ito ay lugar ng isang legal na disputa: isang city attorney na naglanang Samuel Holladay ay nagtayo ng isang bahay sa public parkland at tumanggi na umalis, inilaan ang hilltop ng halos 50 taon hanggang sa huli ay nag-clear ang lungsod ng lupa noong 1936.
Ang park ay isa sa mga mataas na puntos ng Pacific Heights, may views patungo sa hilagang bay at Marin. Ito ay napaligiran ng ilan sa pinakamahalagang real estate sa lungsod, kabilang ang Spreckels Mansion sa kabuuang bitik nito. Ang mga landas pataas ay matarik.