Holiday disse que ela começou a usar drogas duras no início da década de 1940. Ela havia casado com o trombonista Jimmy Monroe em 25 de agosto de 1941. Quando ainda era casada com Monroe, ela iniciou uma relação romântica com o trompetista Joe Guy, que também era seu traficante de drogas. Ela viveu com ele como sua esposa (chamada esposa de direito comum) e se divorciou de Monroe em 1947. Ela também se separou de Guy. Depois de ser presa e condenada por posse de drogas em 1947, ela não pôde trabalhar em clubes em Nova York para o resto de sua vida. A única vez que ela pôde fazê-lo foi quando cantou no Ebony Club em 1948, onde ela teve a permissão de John Levy.
Nos anos 50, a saúde do Holiday tornou-se ruim, por causa de seu consumo de álcool, uso de drogas e suas relações com homens abusivos. Sua voz tornou-se dura, mas algumas pessoas dizem que seu canto se tornou mais emocional.
Em 28 de março de 1952, Holiday casou-se com Louis McKay, um homem que trabalhava para a Máfia. McKay, como a maioria dos homens em sua vida, era abusivo, mas ele tentou fazer com que ela parasse de usar drogas. Mais tarde, eles se separaram.
Em 10 de novembro de 1956, ela realizou dois concertos diante de grandes audiências no Carnegie Hall.
O feriado foi pela primeira vez na Europa em 1954 com Buddy DeFranco e Red Norvo. Quando ela voltou à Europa, quase cinco anos depois, foi à televisão para o Chelsea de Granada, no Nine, em Londres. Esta foi uma das últimas vezes que ela apareceu na televisão. Suas últimas gravações em estúdio foram feitas para a MGM em 1959, com Ray Ellis e sua Orquestra, que também a tinha acompanhado no álbum A Dama da Columbia em Satin, em 1958. As gravações da MGM foram lançadas após a morte de Holiday em um álbum chamado Last Recordings.
A autobiografia de Holiday, Lady Sings the Blues, foi publicada em 1956. Foi escrita fantasma por William Dufty, um escritor e editor do New York Post, casado com a amiga íntima de Holiday, Maely Dufty. Ele escreveu o livro rapidamente depois de conversar com Holiday em seu apartamento, bem como de usar entrevistadores anteriores. Ele queria deixar Holiday contar a história dela à sua maneira.
A Holiday nunca teve filhos próprios, mas teve dois afilhados: a cantora Billie Lorraine Feather, filha de Leonard Feather, e Bevan Dufty, filho de William Dufty.