A música foi escrita por Haydn em 1797 como o hino da Áustria. Foi chamada "Gott erhalte Franz den Kaiser" ("Deus proteja nosso Imperador Franz"). As palavras usadas hoje foram escritas pelo poeta August Heinrich Hoffman von Fallersleben em 1841.
Hoje, a primeira linha "Alemanha, Alemanha acima de tudo" soa muito forte para algumas pessoas, e muitas vezes é mal compreendida. Fallersleben queria uma Alemanha unida quando a escreveu. Naquela época, a Alemanha não era um só país, mas muitos países pequenos. Portanto, "Alemanha acima de tudo" significava que a coisa mais importante a fazer era ter uma Alemanha unificada. Além disso, o poeta estava em Heligoland, onde as pessoas falavam alemão, mas eram governadas pelos britânicos.
A música de Fallersleben foi muito popular na Alemanha durante a segunda parte do século XIX. Esta canção não era um hino nacional na época, mas uma canção para pessoas que amavam a idéia de uma Alemanha forte e unida. Em 1918, ela substituiu o hino do Império Alemão "Heil Dir im Siegerkranz" ("Louvor ao vencedor da guerra"), quando o Imperador WilhelmII perdeu o poder no final da Primeira Guerra Mundial. Em 1921, uma "quarta estrofe", uma nova parte ou verso, foi escrita pelo poeta Albert Matthai com palavras sobre a difícil vida na Alemanha daquela época. Não era cantada com muita freqüência.
Durante o tempo de Hitler, apenas a primeira parte da canção foi usada. Isto era freqüentemente seguido por uma canção do partido nazista. Esta parte da canção era difícil para algumas pessoas que não eram alemães porque tinha palavras que descreviam a Alemanha como um país que incluía terras que estavam em outros países.
Após a Segunda Guerra Mundial, a Alemanha foi dividida em dois países. Em 1949, a nova Alemanha Ocidental tentou conseguir uma nova canção para o hino nacional. Outra canção foi escolhida, escrita pelo poeta Rudolf Alexander Schröder. Ela não era muito popular. Finalmente, a terceira parte da canção de Fallersleben foi transformada no hino nacional.
Na outra parte da Alemanha, a Alemanha Oriental, as palavras do poeta Johannes R. Becher ("Auferstanden aus Ruinen" - "Re-built from the Ruins") foram usadas com uma canção escrita por Hanns Eisler. Não era muito popular, e a partir dos anos 70 as palavras não eram cantadas, por causa da linha "Alemanha, [nossa] pátria unificada".
Depois que a Alemanha Oriental e Ocidental se uniram novamente em 1990, a canção de Fallersleben se tornou novamente o hino nacional da Alemanha, mas apenas a terceira parte é usada. Hoje, a primeira parte da canção é popular entre os extremistas nacionalistas.