Det är oklart när kyrkogården anlades, men det måste ha varit strax efter att den judiska bosättningen inleddes, dvs. senast i mitten av 1400-talet. Den har utvidgats flera gånger på grund av utrymmesbrist och det är troligt att det finns flera lager av gravar. Flera viktiga provinsiella rabbiner från Moravien är begravda på Rabbis' Mound.
Den nästan två hektar stora judiska kyrkogården i Mikulov är full av gravstenar i renässans, barock och klassicism, vars utformning och utsmyckning blev förebild för andra judiska kyrkogårdar i Sydmähriska. Det finns ca 4.000 gravstenar, varav den äldsta är från 1605. Den mest värdefulla delen av kyrkogården är Rabbis' Mount, där de kända provinsiella rabbinerna Menachem Mendl Krochmal, Shmuel Shmelke Horovitz och Mordechai Benet vilade. Kyrkogården förföll efter andra världskriget men genomgick en omfattande renovering som ett historiskt landmärke mellan 2000 och 2006. År 2009 avtäcktes en plakett till Rabbi Loews ära.