Thielemans começou sua carreira como violonista. Em 1949 ele entrou em uma jam session em Paris com Sidney Bechet, Charlie Parker, Miles Davis, Max Roach e outros. Em 1949 e 1950 ele esteve em turnês européias com Benny Goodman. Ele fez seu primeiro disco em Paris com outro membro da banda, o tenor saxofonista Zoot Sims. Em 1951 ele se tornou membro da banda Bobbejaan Schoepen.
Ele se mudou para os EUA em 1952. Foi membro das All-Stars de Charlie Parker e trabalhou com Miles Davis e Dinah Washington. Ele tocou e gravou com Ella Fitzgerald, Jaco Pastorius, Peggy Lee, The George Shearing Quintet, Quincy Jones, Oscar Peterson, Bill Evans, Paul Simon, BillyJoel, The Happenings, Astrud Gilberto, Shirley Horn, Elis Regina e outros.
Um padrão de jazz de Toots Thielemans é o "Bluesette" onde ele usava assobio e violão em uníssono. Gravada pela primeira vez por Toots em 1962, com palavras adicionadas por Norman Gimbel, a canção tornou-se um grande sucesso mundial. Sua harmônica também pode ser ouvida em filmes como Midnight Cowboy, Jean de Florette, Sugarland Express, The Yakuza, Turkish Delight, The Getaway, French Kiss, Dunderklumpen. Sua música também estava em programas de TV, incluindo Sesame Street, a série belga Witse e a série holandesa Baantjer. Ele fez a música para o filme sueco Dunderklumpen de 1974! Ele também deu voz ao personagem de animação Pellegnillot.
Seus assobios e harmônicas podem ser ouvidos em comerciais de rádio e TV Old Spice que têm sido feitos ao longo dos anos. Durante os anos 80, ele se apresentou com o baixista e compositor/bandleader Jaco Pastorius. Em 1983, ele estava no álbum An Innocent Man, de Billy Joel, e sua harmônica de marca registrada pode ser ouvida em "Leave a Tender Moment Alone". Um ano depois, ele apareceu na canção de Julian Lennon "Too Late For Goodbyes" do álbum Valotte. Em 1984, ele gravou o álbum final de Billy Eckstine (I Am A Singer). Em 1998 lançou um álbum ao estilo francês intitulado "Chez Toots". Ele incluiu Les Moulins De Mon Coeur (Os Moinhos do Meu Coração), com o cantor convidado Johnny Mathis.
Além de sua popularidade como músico, ele era muito apreciado por sua modéstia e seu comportamento gentil. Em 2001, Thielemans foi enobrecido como barão pelo Rei Alberto II da Bélgica.
