Самое первое или Старое еврейское кладбище возникло в Ростове-на-Дону к концу первой четверти XIX в., когда уже сформировалась достаточно большая и стабильная еврейская община. Это было, по классификации М. Б. Краснянского и А. Г. Парецкого, 7-е кладбище города на левом берегу реки Темерник близ кожевенного завода. Ныне его территория располагается под винодельческим заводом и кожобъединением севернее ул. Сиверса, западнее Гвардейской площади и юго-восточнее Железнодорожной больницы, построенной в северной части заросшего травой и бузиной Максимового сада.

В конце XIX века, после 1894 года, М. Б. Краснянский смог обнаружить на этом, закрытом с 1871 года, кладбище надгробные плиты и памятники, датированные 1838-1871 годами. Как отметил М.Б. Краснянский, во время еврейских погромов 1905 года черносотенцы сожгли еще сохранившиеся деревянные памятники. Позже Старое еврейское кладбище было завалено мусором, а затем застроено.

В другой, более поздней работе М. Б. Краснянский указал на то, что в Ростове-на-Дону существовало еще одно старое еврейское кладбище, но видимо, очень малое. Оно было на возвышенном месте рядом с построенной в середине 30-х гг. XX века школой № 23 (ныне № 80) на углу ул. Пушкинской и пер. Журавлева. В конце XIX века М.Б. Краснянский еще смог обнаружить на его месте могильные плиты, датированные 1838-1855 годами. Так, здесь были похоронены купец Абрам Микульский (умер в 1838 г.), Рахиль-Лея Лазаревна Елицер (умерла 15 сентября 1852 г.) и Симха Самуилович Вейнбepr (скончался 1 апреля 1855 г).

Поскольку на Старом еврейском кладбище, к середине 60-х годов XIX века, уже не осталось мест для захоронения, Ростовская городская дума, по просьбе Комитета по еврейским делам от 21 января 1865 года, выделила участок земли для нового Еврейского кладбища между городским училищем (ныне Институт повышения квалификации учителей), ул. Лермонтовская, № 14, пер. Доломановским, № 79, и ул. Скобелевской (теперь Красноармейской), № 1, западнее Главного или Старого христианского кладбища (сейчас над ним стоят Дворец спорта и школа № 78). Еврейское кладбище являлось по классификации М.Б. Краснянского и А.Г. Парецкого, 9-м кладбищем города. На дореволюционных планах города показаны места, которые занимали оба еврейских кладбища. Еврейское кладбище, по-видимому, начало действовать в конце 1867 года, поскольку в отчете Духовного правления Ростовского еврейского общества за октябрь - декабрь 1867 года указаны расходы на ограду для «нового Еврейского кладбища», хотя М.Б. Краснянский обнаружил в конце XIX века самую старую могилу на этом кладбище, датированную только 1871 годом. Он обратил внимание на то, что для этого кладбища, как и для Старого еврейского кладбища, характерны памятники в формe миниатюрных домиков с надписью на передней стенке. Еврейское кладбище было закрыто в 1923 году. После долгого периода запустения оно в 1938-1940 гг. постепенно начало застраиваться. Ныне его не существует, как и еврейского молитвенного дома у входа на кладбище со стороны Скобелевской ул., № 1 (в 1928 году - ул. Красноармейская, № 1б). В 1935 году Молитвенный дом национализирован. Теперь на месте кладбища стоят жилые дома на северной стороне Гвардейской площади.

Родственники некоторых похороненных здесь людей, узнав о предстоящем уничтожении кладбища, тайно перезахоронили прах своих близких на существующем до наших дней Новом еврейском кладбище. Так, по свидетельству М.А. Красникова, был перезахоронен прах известного ростовского купца Я. С. Гурвича.

Как теперь известно, было тайно перезахоронено и тело, не превратившееся в прах (по свидетельству очевидцев), жившего в Ростове-на-Дону с 1916 года выдающегося еврейского религиозного деятеля 5-го Любавичского Ребе Шолом-Дов-Бера Шнеерсона (1860-1920). Ныне над его могилой на юго-восточном углу Нового еврейского кладбища сооружен олель усилиями хасидов, хранившими память о нем. Этот олель является священным местом для многих хасидов во всем мире.