Em 7 de fevereiro de 2006, ele anunciou que iria buscar a indicação democrata para a corrida do Senado de 2006 contra o atual senador da Virgínia, George Allen.
Nas primárias democráticas de 13 de junho de 2006, a Webb enfrentou o empresário e lobista de longa data Harris Miller. Webb venceu com 53,5% dos votos, em uma corrida com baixa participação. Em 4 de janeiro de 2007, Webb foi empossado no 110º Senado dos EUA, acompanhado pelo Senador John Warner, R-Va., um colega ex-Secretário da Marinha; e pelo ex-Senador democrata da Virgínia Chuck Robb, que ocupou o mesmo cargo antes de perder para Allen.
Em 15 de novembro de 2006, Harry Reid, líder da maioria no Senado, designou a Webb para três comitês: os comitês de Relações Exteriores, Assuntos dos Veteranos e Serviços Armados.
Em 23 de janeiro de 2007, Webb apresentou a resposta democrática ao discurso do Presidente do Estado da União, enfocando a economia e o Iraque. O discurso de Webb fez críticas positivas, e foi considerado como uma das respostas mais fortes do Estado da União em memória recente. Webb, um veterano de guerra condecorado, falou do passado militar de sua família, de seu próprio apego apaixonado aos militares e da forma como os presidentes anteriores sempre tentaram garantir que todas as precauções tivessem sido tomadas ao enviar jovens americanos para o caminho do mal.
Em 14 de agosto de 2009 Webb visitou Myanmar (Birmânia), vendo a líder de sua junta, o General Than Shwe, e também a líder pró-democracia Aung San Suu Kyi, que estava sob prisão domiciliar. Durante a visita de Webb com Than Shwe, Webb negociou a libertação e deportação de um americano preso, John Yettaw.
Em 9 de fevereiro de 2011, Webb anunciou que não se candidataria à reeleição de sua cadeira no Senado em 2012.