Cohen começou uma carreira como poeta e romancista durante os anos 50 e início dos anos 60. Cohen só iniciou sua carreira musical em 1967, aos 33 anos de idade. Seu primeiro álbum, Canções de Leonard Cohen (1967), foi seguido por mais três álbuns de música folclórica: Songs from a Room (1969), Songs of Love and Hate (1971) e New Skin for the Old Ceremony (1974).
Seu disco Death of a Ladies' Man, de 1977, foi co-escrito e produzido por Phil Spector. Em 1979, Cohen voltou com as Canções Recentes mais tradicionais, que misturaram seu estilo acústico com o jazz e influências orientais e mediterrâneas.
"Hallelujah" foi lançado pela primeira vez no álbum de estúdio de Cohen Várias Posições em 1984. Cohen escreveu cerca de 80 rascunhos de versos para "Hallelujah", com uma sessão de escrita no Royalton Hotel em Nova York, onde foi reduzido a sentar-se no chão em sua roupa íntima, batendo com a cabeça no chão. Esta se tornou a obra mais conhecida de Cohen. I'm Your Man, em 1988, marcou o álbum mais popular de Cohen com a música "Everybody Knows". Em 1992, Cohen lançou sua continuação, The Future, que tinha letra escura e referências à agitação política e social.
Cohen voltou à música em 2001 com o lançamento de Dez Novas Canções, que foi um grande sucesso no Canadá e na Europa. Seu décimo primeiro álbum, Dear Heather, foi lançado em 2004. Após uma série de turnês de sucesso entre 2008 e 2010, Cohen lançou três álbuns nos últimos quatro anos de sua vida: Old Ideas (2012), Popular Problems (2014) e You Want It Darker (2016), o último dos quais foi lançado três semanas antes de sua morte.