Edward Kennedy Ellington nasceu em 29 de abril de 1899. Seus pais foram chamados James Edward Ellington e Daisy Kennedy Ellington. Eles viveram com os pais de Daisy em
Washington, D.C. James Edward Ellington (J.E.) nasceu em Lincolnton, Carolina do Norte em 15 de abril de 1879 e mudou-se para Washington, D.C. em 1886 com seus pais. Daisy Kennedy nasceu em Washington, D.C., em 4 de janeiro de 1879. Seu pai havia sido um
escravo americano. J.E. trabalhava para a Marinha dos Estados Unidos. Ele também trabalhava como mordomo para um médico branco. Ocasionalmente ele trabalhava como fornecedor de comida na
Casa Branca. Daisy e J.E. eram ambos pianistas.
Quando ele tinha sete anos, Ellington começou a aprender a tocar piano. Daisy ajudou seu filho a aprender a ter boas maneiras. Os amigos de Ellington notaram que ele agiu como um cavalheiro e lhe deu um apelido, "Duque". No início, Ellington estava mais interessado no beisebol do que em tocar piano. Mais tarde ele se lembrou do Presidente Theodore Roosevelt, que o viu jogar beisebol. Ellington foi para a Armstrong Technical High School em Washington, D.C. Seu primeiro trabalho foi vender amendoins nos jogos de beisebol dos Senadores de Washington. Este trabalho o ajudou a se tornar mais confiante.
Em 1914, Ellington escreveu sua primeira canção. Ele tinha um emprego em um café, servindo refrigerante, usando uma fonte de refrigerante. Sua canção foi chamada "Soda Fountain Rag". Ele ainda não sabia ler ou escrever música. Ellington perdeu muitas lições de piano e não achava que era muito bom nisso. Quando ele tinha 14 anos, ouviu pianistas tocando em uma sala de bilhar. Ele estava inspirado a se esforçar mais com seu piano tocando.
Ele ouviu o piano tocar em Washington, D.C., Filadélfia e Atlantic City. Ele tentou copiar os estilos que ouviu. Ele começou a aprender sobre harmonia, e aprendeu a ler e escrever música. Ele começou a tocar em cafés e clubes em Washington, D.C. Ele tinha uma bolsa de estudos para estudar arte no Pratt Institute no Brooklyn em 1916, mas decidiu concentrar-se em sua música.
Entre 1917 e 1919, Ellington iniciou sua carreira musical profissional. Durante o dia, ele tinha uma placa de trabalho de pintura. À noite, ele tocava piano. Às vezes, ele conseguia trabalho tocando piano de pessoas que conhecia em seu outro trabalho. Ele começou sua primeira banda, "The Duke's Serenaders". Eles tocavam em Washington, D.C. e Virgínia em bailes e festas. Os outros músicos de sua banda eram Otto Hardwick, no baixo e depois no saxofone; Arthur Whetsol no trompete; Elmer Snowden no banjo; e Sonny Greer na bateria. Eles tocavam tanto para brancos quanto para negros, o que era incomum na época.