Hřbitov byl založen počátkem 15. století. Bylo na něj přeneseno několik gotických náhrobků ze staršího židovského hřbitova v místech dnešní Vladislavovy ulice na Novém Městě, které tam byly nalezeny při stavebních pracích v roce 1866 a jsou dnes umístěny vedle Klausové synagógy. Nejstarší čitelný náhrobek pochází z roku 1439. Pohřby se zde konaly do roku 1787. V 16. a 17. století byl několikrát rozšířen. Kvůli nedostatku místa byly na hřbitov naváženy další vrstvy půdy, a tak došlo v některých místech k nasypání až dvanácti pohřebních vrstev nad sebou. V době asanační přestavby Josefova byl zrušen severozápadní výběžek hřbitova, který zasahoval do dnešní ulice 17. listopadu. Náhrobky z této části byly roku 1903 zabudovány do zdi obklopující pahorek "Nefele" a pozůstatky pohřbů přeneseny do velké tumby k tomu účelu zřízené. Novorománská obřadní síň pochází z let 1906–1908, dnes slouží jako výstavní prostory Židovského muzea.

Hřbitov s asi 12 000 náhrobními kameny od pozdní gotiky po rokoko a několika tumbami ze 17. a 18. století. Hřbitov je největším a historicky nejzajímavějším dochovaným židovským hřbitovem ve střední Evropě.