A cidade tem o nome do rio (antigo russo: гра́д Моско́в, que significa "a cidade ao lado do rio Moskva"). O início do nome não é conhecido, mas algumas pessoas têm algumas idéias. Uma delas é que o nome pode ser de uma língua finlandesa muito antiga, na qual significa "escuro" e "nublado". A primeira referência russa a Moscou é de 1147, quando Yuri Dolgoruki chamou o príncipe de Novgorod-Severski (Novgorod do Norte) para "vir até mim, irmão, até Moscou".
Nove anos depois, em 1156, o príncipe Yuri Dolgoruki ordenou a construção de uma parede de madeira, que teve que ser refeita muitas vezes, para contornar a cidade em crescimento. Após o ataque de 1237-1238, quando os mongóis incendiaram a cidade e mataram seu povo que lá vivia, Moscou voltou a crescer e tornou-se a capital do principado de Vladimir-Suzdal (uma quantidade de terra governada por um príncipe) em 1327. Seu bom lugar no início do rio Volga ajudou a cidade a crescer lentamente e de forma cada vez maior. Moscou se tornou um principado pacífico e rico, conhecido como o Grão-Ducado de Moscou, por muitos anos, e um grande número de pessoas de toda a Rússia se mudou para morar lá.
Sob Ivan I, a cidade substituiu Tver como centro político de Vladimir-Suzdal e tornou-se o único coletor de impostos para os governantes mongóis-Tatar. Ao pagar impostos elevados, Ivan fez um importante acordo com os Khan. Ao contrário de outros principados, Moscou não foi dividida entre seus filhos, mas foi passada inteira para seus mais velhos. No entanto, Moscou não gostou da regra mongol. Em 1380, o príncipe Dmitry Donskoy de Moscou levou um exército russo a uma importante vitória sobre os Tatars na Batalha de Kulikovo. Apenas dois anos depois Moscou foi invadida pelo Khan Tokhtamysh. Em 1480, Ivan III finalmente libertou os russos do controle tártaro, permitindo que Moscou se tornasse o centro do poder na Rússia. Sob Ivan III, a cidade se tornou a capital de um império que acabaria por incluir toda a Rússia e outros países.
Em 1571, os Tatars da Crimeia invadiram Moscou, queimando tudo menos o Kremlin.
Em 1609, o exército sueco, liderado pelo Conde Jacob De la Gardie e Evert Horn, marchou de Veliky Novgorod em direção a Moscou para ajudar o czar Vasili Shuiski. Eles entraram em Moscou em 1610 e interromperam a revolução contra o czar, mas partiram no início de 1611. Depois disso, os poloneses invadiram. Durante a Guerra entre poloneses e muçulmanos (1605-1618), o carteiro (comandante do exército) Stanisław Żółkiewski entrou em Moscou depois de derrotar os russos na Batalha de Klushino. O século XVII teve muitas revoluções, tais como o Motim do Sal (1648), o Motim do Cobre (1662) e a Revolta de Moscou de 1682.
A praga de 1654-1656 matou a metade da população de Moscou. A cidade deixou de ser a capital da Rússia em 1712, após a construção de São Petersburgo por Pedro o Grande, perto da costa báltica, em 1703. A Peste de 1771 foi a última grande praga no centro da Rússia, matando 100.000 pessoas somente em Moscou. Durante a invasão francesa da Rússia em 1812, os moscovitas queimaram a cidade e fugiram, pois o exército de Napoleão estava se aproximando da cidade em 14 de setembro. O exército de Napoleão, que estava com muita fome e frio, teve que partir e foi quase destruído pelo inverno gelado da Rússia e por alguns ataques do exército.
Em janeiro de 1905, Alexander Adrianov tornou-se o primeiro prefeito de Moscou. Após a Revolução Russa de 1917, em 12 de março de 1918, Moscou se tornou a capital da União Soviética. Durante a Segunda Guerra Mundial (conhecida na Rússia como a Grande Guerra Patriótica), após a invasão alemã da URSS, o Grupo de Defesa do Estado Soviético e os comandantes do Exército Vermelho foram colocados em Moscou.
Em 1941, 16 grupos de voluntários nacionais (mais de 160.000 pessoas), vinte e cinco batalhões (18.500 pessoas) e quatro regimentos de engenharia foram criados entre os moscovitas. Em novembro, o Exército alemão foi parado na periferia da cidade e depois expulso na Batalha de Moscou. Muitas fábricas foram afastadas, e grande parte do governo também, e a partir de 20 de outubro a cidade foi declarada sitiada. Seu povo que ficou construiu e usou defesas antitanque, enquanto a cidade foi bombardeada do ar. Joseph Stalin (o líder da Rússia) não deixou a cidade, portanto o pessoal geral também permaneceu na cidade. Mesmo com um cerco em andamento, a construção do sistema de metrô de Moscou continuou durante a guerra e, ao final da guerra, algumas novas linhas de metrô foram abertas.
Em 1º de maio de 1944, uma medalha pela defesa de Moscou e em 1947 outra medalha Em memória do 800º ano de Moscou foram entregues a Moscou. Em comemoração do 20º aniversário da vitória sobre a Alemanha nazista, em 8 de maio de 1965, Moscou se tornou uma das doze cidades soviéticas premiadas com o título de Cidade Herói.
Em 1980, Moscou sediou os Jogos Olímpicos de Verão, aos quais os Estados Unidos e vários outros países ocidentais não foram por causa da guerra da União Soviética no Afeganistão no final de 1979. Em 1991, Moscou foi o cenário da tentativa fracassada de derrubada pelos membros do governo que se opunham às regras de MikhailGorbachev. Quando a URSS terminou no mesmo ano, Moscou continuou a ser a capital da Rússia.
Desde então, o início de uma economia de mercado em Moscou fez uma explosão de lojas, serviços, arquitetura e estilos de vida de estilo ocidental. Em 1998, foi a sede dos primeiros Jogos Mundiais da Juventude.