Thant começou a servir como Secretário-Geral interino a partir de 3 de novembro de 1961, quando foi nomeado por unanimidade pela Assembléia Geral, sob recomendação do Conselho de Segurança, para preencher o período restante do mandato de Dag Hammarskjöld. Ele foi então nomeado por unanimidade pela Assembléia Geral em 30 de novembro de 1962, para um mandato que terminou em 3 de novembro de 1966. Durante este primeiro mandato, ele foi amplamente creditado por seu papel na desactivação da Crise dos MísseisCubanos e pelo fim da guerra civil no Congo.
U Thant foi nomeado para um segundo mandato como Secretário-Geral das Nações Unidas pela Assembléia Geral em 2 de dezembro de 1966 sobre a recomendação unânime do Conselho de Segurança. Seu mandato continuou até 31 de dezembro de 1971, quando ele se aposentou. Durante seu mandato, ele supervisionou a entrada na ONU de dezenas de novos estados asiáticos e africanos e foi um firme opositor do apartheid na África do Sul. Ele também estabeleceu muitas das agências, fundos e programas de desenvolvimento e ambientais da ONU, incluindo o Programa das Nações Unidas para o Desenvolvimento (PNUD), a Universidade da ONU, a UNCTAD, a UNITAR e o Programa das Nações Unidas para o Meio Ambiente.
Ele também havia liderado muitos esforços de paz bem sucedidos, embora agora largamente esquecidos, por exemplo no Iêmen em 1962 e no Bahrein em 1968. Em cada caso, a guerra teria provocado um conflito regional mais amplo, e foi a mediação silenciosa de Thant que impediu a guerra.
Ao contrário de seus dois predecessores, Thant se aposentou após dez anos de conversação com todas as grandes potências. Em 1961, quando ele foi nomeado pela primeira vez, a União Soviética havia tentado insistir em uma fórmula tróica de três secretários-gerais, um representando cada bloco da Guerra Fria, algo que teria mantido a igualdade nas Nações Unidas entre as superpotências. Em 1966, quando Thant foi reeleito, todas as grandes potências, em votação unânime do Conselho de Segurança, afirmaram a importância do Secretário-Geral e de seus bons ofícios, um claro tributo ao trabalho de Thant.
A Guerra dos Seis Dias entre países árabes e Israel, a Primavera de Praga e a subseqüente invasão soviética da Tchecoslováquia, e a Guerra Indo-Paquistanesa de 1971, que levou ao nascimento de Bangladesh, ocorreram durante seu tempo como Secretário-Geral.
Ele foi amplamente criticado nos EUA e em Israel por concordar em retirar as tropas da ONU do Sinai em 1967, em resposta a um pedido do presidente egípcio Nasser. U Thant tentou persuadir Nasser a não entrar em guerra com Israel, voando para o Cairo em um esforço de paz de última hora.
Seu relacionamento outrora bom com o governo americano deteriorou-se rapidamente quando ele criticou publicamente a conduta americana na Guerra do Vietnã. Suas tentativas secretas de conversações de paz diretas entre Washington e Hanói acabaram sendo rejeitadas pela administração Johnson.
Thant seguiu com algum interesse relatórios de objetos voadores não identificados; em 1967, ele conseguiu que o físico atmosférico americano Dr. James E. McDonald falasse perante o Grupo de Assuntos Espaciais Externos da ONU a respeito de OVNIs.
Em 23 de janeiro de 1971 U Thant anunciou categoricamente que "sob nenhuma circunstância" estaria disponível para um terceiro mandato como Secretário-Geral. Durante muitas semanas, o Conselho de Segurança da ONU ficou bloqueado na busca por um sucessor antes de finalmente se estabelecer em Kurt Waldheim para suceder a U Thant como Secretário-Geral em 21 de dezembro de 1971 - 53º aniversário de Waldheim - e apenas dez dias antes do término do segundo mandato da U Thant.
Em seu discurso de despedida ao Secretário-Geral da Assembléia Geral das Nações Unidas, U Thant declarou que sentiu uma "grande sensação de alívio ao abandonar o "fardo do cargo". Em um editorial publicado por volta de 27 de dezembro de 1971 elogiando U Thant, o The New York Times declarou que "o sábio conselho deste dedicado homem de paz ainda será necessário após sua aposentadoria". O editorial foi intitulado "The Liberation of U Thant" (A Libertação de U Thant).