Depois de concluir o ensino médio em 1944, Davis mudou-se para Nova York para estudar na Juilliard School of Music.
Quando chegou em Nova York, ele passou a maior parte do tempo tentando entrar em contato com Charlie Parker, embora algumas pessoas lhe tivessem dito que ele não deveria. Quando encontrou Parker, Davis se envolveu em sessões de improviso que aconteciam todas as noites em dois dos clubes noturnos do Harlem, o Minton's Playhouse e o Monroe's. Outros músicos famosos como Thelonious Monk e Kenny Clarke também participaram dessas sessões.
Davis deixou Juilliard mais cedo, tendo primeiro solicitado permissão de seu pai. Ele não gostou das aulas na Juilliard porque achava que elas se concentravam demais na música clássica européia e "branca". Ele também disse que suas aulas na Juilliard o ajudaram a entender a teoria musical.
Ele começou a tocar profissionalmente em muitos grupos de jazz, atuando em vários clubes da 52nd Street com Coleman Hawkins e Eddie "Lockjaw" Davis. Em 1945, ele entrou em um estúdio de gravação pela primeira vez, como membro do grupo de Herbie Fields. Em 1946 ele fez sua primeira gravação como líder de banda, com um grupo chamado "Miles Davis Sextet mais Earl Coleman e Ann Hathaway". Ele não fez muitas gravações como líder de banda nesta época.
Por volta de 1945, Dizzy Gillespie deixou de trabalhar com a Parker e Parker contratou Davis como substituto da Gillespie em seu quinteto. Também no grupo estavam Max Roach na bateria, Al Haig (substituído mais tarde por Sir Charles Thompson e Duke Jordan) no piano, e Curley Russell (substituído mais tarde por Tommy Potter e Leonard Gaskin) como baixista.
Com o quinteto da Parker, Davis gravou várias vezes. Ele tinha um solo na canção de assinatura de Parker, "Now's the Time". Este solo levou ao início de um estilo de jazz chamado "cool jazz". O grupo também fez uma turnê pelos Estados Unidos. Durante uma turnê em Los Angeles, Parker teve um colapso nervoso e foi para o Hospital Mental do Estado de Camarillo por vários meses. Davis se viu preso em L.A. Ele ficou e tocou música com o músico de jazz Charles Mingus. Mais tarde ele conseguiu um emprego com Billy Eckstine em uma turnê na Califórnia que o trouxe de volta a Nova York. Em 1948, Parker voltou de Los Angeles, e Davis juntou-se novamente ao seu grupo.
Os músicos do grupo Parker não estavam se dando muito bem. O comportamento de Parker era imprevisível por causa de seu vício em drogas. Davis e Roach não concordaram com a contratação de Parker pelo Duque Jordan como pianista e teriam preferido Bud Powell). Em dezembro de 1948, Davis deixou o grupo após uma discussão com Parker no Royal Roost. Ele começou a trabalhar de forma mais independente com diferentes grupos em Nova York.