Em 4 de março de 2004, Köhler renunciou a seus cargos, porque foi indicado como candidato presidencial. Köhler derrotou Gesine Schwan no primeiro escrutínio por 604 votos contra 580. 20 votos foram emitidos para candidatos menores, enquanto um eleitor estava ausente por causa de um ataque cardíaco. Köhler sucedeu Johannes Rau como presidente em 1º de julho de 2004, por um mandato de cinco anos. A presidência da Alemanha é um cargo em grande parte cerimonial. No entanto, ela também é investida com considerável autoridade moral. De 2004 até o início de 2006, o Palácio Charlottenburg foi a sede do Presidente da Alemanha. Isto se deu porque Schloss Bellevue foi renovado.
Ao ser eleito, Köhler disse que "o patriotismo e o ser cosmopolita não são opostos". Ao apresentar suas visões para a Alemanha, Köhler também disse que "a Alemanha deveria se tornar uma terra de idéias".
Em julho de 2005, ele suspendeu o Bundestag a pedido do chanceler Gerhard Schröder. Schröder havia perdido uma moção de confiança no Bundestag. Isto levou à eleição antecipada para o Bundestag em setembro de 2005.
Em outubro de 2006, ele tomou uma decisão de longo alcance vetando um projeto de lei. Ele transferiria a administração alemã de segurança aérea Deutsche Flugsicherung para propriedade privada. O Bundestag aprovou esta legislação, mas como presidente, Köhler foi autorizado a não assinar a lei se, em sua opinião, ela violar a constituição. Em dezembro de 2006, ele não assinou a Lei de Informação ao Consumidor, porque a constituição não permite que o governo federal instrua as autoridades municipais. Isto só pode ser feito pelos estados alemães. Haviam apenas seis ocasiões anteriores em que o presidente da Alemanha havia optado por rejeitar projetos de lei. Na maioria dos casos, houve legislação menos importante. Seus vetos foram os primeiros exemplos notáveis na história recente da Alemanha.
Em seu discurso de Natal de 2007 à nação, Köhler exortou o governo a avançar mais rapidamente com as reformas. Ele também criticou a introdução do salário mínimo no setor postal, afirmando que "um salário mínimo que não pode ser pago por empregadores competitivos destrói empregos".
Em 22 de maio de 2008, Köhler disse que quer ser o candidato para um segundo mandato como presidente. Em 23 de maio de 2009, ele foi reeleito pela Assembléia Federal, e tomou posse para um segundo mandato em 1 de julho de 2009.
Em novembro de 2009, Köhler recusou-se a assinar a "Zugangserschwerungsgesetz" (Lei de Impedimentos de Acesso), sem mais informações. A lei, que visa tornar mais difícil o acesso a sites na World Wide Web com pornografia infantil, é considerada por muitos especialistas legais como inconstitucional.
Resignação
Em 31 de maio de 2010, Köhler anunciou sua renúncia ao cargo de Presidente da Alemanha. Isto veio depois que políticos alemães criticaram os comentários feitos por Köhler em relação a destacamentos militares no exterior:
Ele foi criticado por sua declaração de que as missões militares da Alemanha no exterior também serviam para garantir o comércio. Ele declarou depois que seus comentários se referiam à pirataria ao largo da costa da Somália. Köhler declarou que não havia fundamento para acusações de que na entrevista ele havia superado seu papel formal ao favorecer uma posição inconstitucional. Depois de não obter apoio na disputa, Köhler renunciou ao cargo em 31 de maio de 2010. Ele fez uma declaração dizendo: "Declaro minha renúncia ao cargo de Presidente, com efeito imediato". A demissão foi considerada uma "surpresa". Nos dias seguintes ele foi criticado por não ser capaz de lidar com críticas enquanto ele mesmo era um crítico rigoroso. Seu ato de demissão imediata sem precedentes também foi considerado mostrando falta de respeito por sua posição.
Como está escrito na Constituição alemã, os poderes do cargo vago foram executados pelo atual presidente do Bundesrat, Jens Böhrnsen, até que Christian Wulff foi eleito presidente em 30 de junho de 2010.
