A foz do rio Don tem sido muito importante desde os tempos antigos. Tem sido importante por razões culturais e de comércio. A colônia grega Tanais estava lá, e também o forte genovês Tana. Mais tarde, o Império Otomano construiu ali uma fortaleza. Esta fortaleza foi chamada Azov.
A Rostov-on-Don foi fundada em 1749. Naquele ano, foi construída uma alfândega sobre o Don. Mais tarde, seguiu-se uma grande fortaleza. Recebeu o nome de Santo Dimitry de Rostov. Dmitry de Rostov era um bispo da antiga cidade do Norte Rostov, o Grande. Com o tempo, a importância da fortaleza Asov foi diminuindo cada vez menos. O assentamento próximo à fortaleza tornou-se mais importante do que a fortaleza. Era o centro comercial da região. Em 1796 este assentamento recebeu os direitos da cidade e foi renomeado Rostov-on-Don.
O rio Don que a cidade recebe o nome de afrer é uma das principais vias de navegação. Ele liga o sudoeste da Rússia com regiões ao norte. Rostov-on-Don é um importante porto fluvial, tanto para o transporte de pessoas quanto para a navegação industrial. Com uma localização geográfica tão boa, a cidade cresceu rapidamente. É a cidade mais industrializada do sul da Rússia. Devido a isso, a cidade causou um grande problema entre os brancos e os bolcheviques durante a Guerra Civil. Em 1928, o governo regional foi transferido da antiga capital cossaca Novocherkassk para Rostov. A vizinha cidade armênia de Nor Nakhijevan passou a fazer parte da cidade.
Nos anos soviéticos, os bolcheviques destruíram dois dos principais marcos históricos de Rostov - a Catedral de São Alexandre Nevsky (1908) e a Catedral de São Jorge em Nakhichevan (1783-1807). Grande parte da cidade foi destruída pelas forças alemãs que assumiram o controle da mesma três vezes - em 1918, 1941 e 1942. Hoje, a parte mais notável da cidade histórica é a grande Catedral da Natividade da Virgem (1860-87), projetada por Konstantin Thon.
A cidade era também o lar do assassino em série mais conhecido da Rússia, Andrei Chikatilo, mas ele não nasceu lá.
Rostov-on-Don tem tido muito crescimento econômico nos últimos anos. Parte disso ocorre porque a economia russa está ficando mais forte. Muitas novas empresas construíram sedes na cidade. As pessoas que vivem na cidade estão ganhando mais dinheiro do que ganhavam no passado. A cidade está sendo transformada de um lugar jogado no tempo pelo colapso do comunismo em uma cidade moderna, industrial e tecnologicamente rica.