Lafayette Park är en höjdpark omgärdad av Washington, Sacramento, Gough och Laguna. Under decennier på 1800-talet var det platsen för en långvarig juridisk strid: en stadsadvokat vid namn Samuel Holladay byggde ett hus på den offentliga parkmarken och vägrade att flytta, och höll platsen i närmare 50 år tills staden äntligen rensade marken 1936.
Parken ligger på en av höjdpunkterna i Pacific Heights, med utsikt norrut mot båten och Marin. Den är omgärdad av en del av stadens dyraste fastigheter, inklusive Spreckels Mansion på dess norra kant. Stigarna upp är brant.