Depois de tocar alguns pequenos shows por toda a Inglaterra, a banda saiu com seu primeiro álbum, chamado Led Zeppelin I. Os talentos de John Bonham podem ser ouvidos em canções como "Good Times, Bad Times", com sua bateria de baixo saltitante durante toda a canção. Logo depois disso, a banda partiu para uma turnê pela América, no Dia do Boxe (26 de dezembro de 1969). Após uma turnê de bastante sucesso, Zeppelin saiu com seu segundo álbum, nomeando-o Led Zeppelin II. Este álbum incluía a canção "Moby Dick", que teve um famoso solo de bateria de Bonham. Ao longo do solo, Bonham mostrou seus talentos tocando bateria de mão enquanto continuava a usar seu pé direito.
Nessa época, a Led Zeppelin já estava se tornando mais conhecida. Com o lançamento de seu terceiro álbum (não surpreende que se chamasse Led Zeppelin III), eles se tornaram uma das maiores bandas do mundo. A canção de Bonham neste álbum, que ele escreveu, foi "Out On The Tiles".
Led Zeppelin lançou mais tarde os álbuns Led Zeppelin IV (que originalmente não tinha nome), Houses of the Holy, e Physical Graffiti. Durante este tempo, Zeppelin estava em turnê sem parar. Além de ainda tocar "Moby Dick", Bonham também recebeu atenção por seu trabalho em canções como "Four Sticks", "The Ocean", e "In My Time Of Dying".
Logo após o Graffiti Físico, a banda tirou um tempo livre porque Robert Plant foi ferido em um acidente de carro. Neste tempo livre, além de passar tempo com sua família e mexer com carros, Bonham estava trabalhando no próximo álbum, Presence.