Впервые вопрос о необходимости открытия музея в городе Ростове-на-Дону был поставлен в 1862 году на заседании Городской думы легендарным городским головой Андреем Матвеевичем Байковым, который полагал, что городской музей должен явиться «хранилищем образцов природных богатств края, памятников его славного прошлого и свидетелем его современного культурного роста», но идея не нашла поддержки городских обывателей.
Выбранный городским головой на новый срок, А.М. Байков в 1885 году вновь поднимает волнующий его вопрос, но идею депутаты Думы одобрили только в 1888 году, приняв решение о строительстве здания для Городской публичной библиотеки, на втором этаже которого должен расположиться музей. В здании, на строительство которого основную часть средств выделил ростовский купец 1 гильдии Владимир Иванович Асмолов, и которое сохранилось до настоящего времени в Думском проезде, 5 разместились библиотека и Ростовское отделение Артистического общества, а о музее вновь забыли.
И только на волне демократических преобразований, после революции 1905-1907 гг., ростовские краеведы - энтузиасты Михаил Борисович Краснянский (1872-1943), личный почетный гражданин города Ростова-на-Дону, городской штейгер (горный инженер) и Александр Михайлович Ильин (1870-1937), надворный советник, преподаватель истории в ростовских гимназиях, выступили в 1909 году инициаторами создания Общества истории, древностей и природы, важнейшей задачей которого, согласно Уставу, было создание музея.
7 октября 1909 года Городская дума передала будущий музей в ведение Общества, а 1 мая 1910 года Ростовский городской музей, правопреемником которого сейчас является Ростовский областной музей краеведения, открыл двери для посетителей в некогда построенном для него здании. Эта дата является официальной датой основания музея.
Побывавший в Ростовском городском музее накануне открытия, 25 апреля 1910 года, хранитель этнографического отдела Русского музея Александра III Александр Александрович Миллер сделал в книге отзывов запись следующего содержания: «Стараниями культурных людей в Ростове-на-Дону положено начало учреждению, развитие которого так желательно для изучения, собирания и сохранения местных памятников старины».