Hřbitov byl založen kolem roku 1784. V roce 1941 vytvořili Němci na hřbitově tábor nucených prací, na hřbitově byla vybudována kasárna, vodní nádrže a dva protiletecké kryty. Na příkaz Němců byly náhrobky použity na dláždění ulic. Hřbitov utrpěl i při spojeneckých náletech. Po válce se několik Židů z Osvětimi, kteří přežili holocaust, pokusilo zabezpečit znesvěcený hřbitov, proběhly úklidové práce a zbouraná zeď byla znovu postavena. V průběhu následujících let však byl hřbitov dále devastován. V roce 1964 byl hřbitov uzavřen. V osmdesátých letech byly na hřbitově provedeny restaurátorské práce.

Na hřbitově se nachází asi 1000 náhrobků různého stupně zachovalosti. Na levé straně brány je moderní náhrobek poslední židovského obyvatele Osvětimi Szymszona Klugera, který zemřel 26. 5 2000. V centrální části hřbitova jsou dvě lapidária, připomínající stupňovité pyramidy. Na jejich stavbu byly použity fragmenty poškozených náhrobků. Nejstarší identifikovaný náhrobek, je z roku 1757.