Yamagata nasceu em 14 de junho de 1838 em Hagi. Hagi era a capital do domínio feudal de Chōshū (atual prefeitura de Yamaguchi). Ele foi educado por seu pai. Yamagata estudou literatura clássica japonesa e chinesa. Ele aprendeu as artes marciais do Jujutsu. Yamagata também aprendeu o uso militar da lança e como cercar.
Ele foi para Shokasonjuku, uma escola particular dirigida por Yoshida Shōin. Lá, ele ajudou a derrubar o shogunato de Tokugawa em 1868. Ele era comandante no Kiheitai. Esta era uma organização semi-militar criada ao longo das linhas semi-ocidentais pelo domínio Chōshū. Ele foi oficial de pessoal na Guerra Boshin (1867 a 1868).
Depois que os Tokugawa foram derrubados, Yamagata e Saigō Tsugumichi viajaram para o exterior em 1869. Eles foram enviados para pesquisar os sistemas militares dos países ocidentais. Yamagata ficou impressionado com os militares prussianos. Após um ano, Yamagata voltou e se reportou diretamente ao Imperador Meiji em Tóquio. Ele foi nomeado "Vice-Ministro Assistente de Assuntos Militares". Ele usou as teorias militares de Carl von Clausewitz e os jogos de guerra prussianos para mudar o exército do Japão. Ele se tornou Ministro da Guerra em 1873. Ele modernizou o Exército Imperial Japonês e o fez como o exército prussiano. Ele iniciou o alistamento militar em 1873.