Os detalhes da descoberta da Ilha Gough não são claros, mas a ocasião mais provável é julho de 1505 pelo explorador português Gonçalo Álvares. Mapas durante os próximos três séculos deram o nome dele à ilha. Em alguns mapas posteriores, este foi dado erroneamente como Diego Alvarez.
Segundo alguns historiadores, o comerciante britânico Anthony de la Roché foi o primeiro a desembarcar na ilha, no outono austral de 1675.
Charles Gough redescobriu a ilha em 3 de março de 1732. Ele pensou que era um novo achado. Desde 1505, ele se chamava Gonçalo Álvares, em homenagem ao capitão do navio almirante de Vasco da Gama em sua viagem épica para o leste. Foi com este nome que foi marcado com razoável precisão nas cartas do Atlântico Sul durante os cerca de 230 anos seguintes.
Então, em 1732, o Capitão Gough do navio britânico Richmond relatou a descoberta de uma nova ilha. Ele a colocou a 400 milhas ao leste de Gonçalo Álvares. Cinqüenta anos depois, os cartógrafos perceberam que as duas ilhas eram a mesma coisa. Apesar da prioridade da descoberta portuguesa, e da maior precisão da posição dada por eles, "Ilha de Gough" foi o nome adotado.
No início do século XIX, os seladores habitaram brevemente a ilha. O primeiro exemplo conhecido é um bando de seladores do navio americano Rambler (Capitão Joseph Bowditch) que permaneceu na ilha na temporada de 1804-1805. A era da selagem durou de 1804 a 1910, durante a qual se sabe que 34 navios de selagem visitaram a ilha, um dos quais foi perdido no mar.
A Expedição Nacional Antártica Escocesa na Escócia fez a primeira visita à ilha por uma festa científica em 21 de abril de 1904, quando William Speirs Bruce e outros coletaram espécimes. A Expedição Shackleton-Rowett também parou na ilha em 1922.
A Ilha Gough foi formalmente reivindicada em 1938 para a Grã-Bretanha, durante uma visita de HMS Milford da Marinha Real. Em 1995, a ilha foi inscrita como Patrimônio Mundial da UNESCO. Em 2004, o local foi ampliado para incluir a Ilha Inacessível e renomeado como Ilha de Gough e Ilhas Inacessível.
A Ilha Gough é o único lugar fora da América do Sul do qual o eclipse solar de 12 de setembro de 2034 será visível; o centro do caminho da totalidade atravessa a ilha.