Leahy foi eleita para o Senado dos Estados Unidos pela primeira vez em 1974, sucedendo George Aiken, que se aposentou por 34 anos. Aos 34 anos de idade, ele foi o senador mais jovem da história de Vermont. Leahy foi quase derrotado em 1980 pelo Republican Stewart Ledbetter, ganhando por apenas 2.700 votos em meio à vitória esmagadora de Ronald Reagan. Em 1986, ele enfrentou o que estava no papel como um desafiador ainda mais forte no ex-governador Richard Snelling, mas Leahy voltou atrás neste desafio, levando 63% dos votos. Em 1992, ele enfrentou outro oponente na Secretaria de Estado de Vermont Jim Douglas, vencendo por 11 pontos.
Leahy foi a primeira senadora não-republicana de Vermont desde 1856. Até hoje, ele é o único democrata de Vermont eleito para o Senado. Ele é tecnicamente um dos três únicos democratas a representar Vermont em ambas as casas do Congresso desde o fim da Guerra Civil.
Carreira posterior
Em março de 2004, Leahy e Orrin Hatch introduziram a Lei dos Piratas apoiada pela RIAA. Em julho de 2004, Leahy e Hatch introduziram a Lei do INDÚCIA. Ambas tinham como objetivo combater a violação de direitos autorais.
Em 2 de novembro de 2004, Leahy derrotou facilmente seu oponente, o empresário Jack McMullen, com 70,6% dos votos. Em 5 de janeiro de 2005, Leahy foi empossado para seu sexto mandato no Senado por Cheney.
Em 21 de setembro de 2005, Leahy anunciou seu apoio a John Roberts para ser Presidente da Suprema Corte dos Estados Unidos. Em 19 de janeiro de 2006, Leahy anunciou que votaria contra o Juiz Samuel Alito para ser juiz da Suprema Corte.
Em 18 de janeiro de 2007, Leahy recebeu ampla cobertura para seu contra-interrogatório do Procurador Geral Alberto Gonzales sobre o caso Maher Arar e a entrega extraordinária de Arar à Síria.
Presidente pro tempore
Com a morte do presidente do Senado pro tempore Daniel Inouye em 17 de dezembro de 2012, Leahy tornou-se o senador mais graduado do partido majoritário, e foi eleito como o novo presidente pro tempore por consentimento unânime.
Em 3 de janeiro de 2015, Orrin Hatch sucedeu Leahy como presidente pro tempore do Senado dos Estados Unidos. Ele foi homenageado com o título de Presidente pro tempore emeritus logo em seguida.