Em dezembro de 2001, Perdue renunciou ao cargo de Senador do Estado para poder concorrer ao cargo de Governador. Ele venceu as eleições governamentais da Geórgia em 2002, derrotando o candidato democrata em exercício Roy Barnes, 51% a 46%, com o candidato liberiano Garrett Michael Hayes obtendo 2% dos votos. Ele se tornou o primeiro governador republicano da Geórgia em mais de 130 anos desde Benjamin F. Conley.
Como governador, Perdue liderou reformas destinadas a reduzir o desperdício no governo, principalmente a venda de veículos e bens imobiliários excedentes. Ele ajudou a Geórgia a subir do último lugar no país na pontuação do SAT. Embora tenha voltado ao último lugar em 2005, o estado da Geórgia subiu para o 49º lugar em 2006 na pontuação média combinada de matemática e leitura, incluindo a parte de escrita adicionada ao teste daquele ano. Perdurou também criou oportunidades adicionais para escolas charter e escolas particulares. Em 2006, Perdue assinou uma lei que deu ao estado da Geórgia "algumas das medidas mais duras da nação contra a imigração ilegal".
Em 2006, Perdue foi reeleito para um segundo mandato na eleição gubernatorial de 2006 na Geórgia, ganhando quase 58% dos votos. Seu oponente democrata foi o tenente-governador Mark Taylor. O Libertariano Garrett Michael Hayes também estava nas urnas.
2007 oração pela chuva
Em 13 de novembro de 2007, enquanto a Geórgia sofria de uma das piores secas em várias décadas, Perdue liderou um grupo de várias centenas de pessoas em uma oração sobre os passos do Capitólio estadual. O Perdue dirigiu-se à multidão, dizendo "Nós nos reunimos aqui simplesmente por uma razão e um único motivo: Para rezar muito reverente e respeitosamente uma tempestade" e "Deus, nós precisamos de você; precisamos de chuva".
