"Yellow" foi escrito em um estúdio de Rockfield no País de Gales. O estúdio é chamado "Quadrangle". Foi onde a Coldplay começou a trabalhar em seu primeiro álbum, Parachutes. Uma noite depois de terminar de gravar "Shiver", o single principal do álbum, a banda fez uma pausa e saiu do estúdio. Lá fora, havia poucas luzes acesas e as estrelas no céu eram visíveis e "simplesmente incríveis", de acordo com o co-produtor da música, Ken Nelson. Ele disse à banda para olhar para as estrelas. A banda olhou para as estrelas e se sentiu geralmente inspirada. A melodia principal da canção apareceu na cabeça de Chris Martin, o vocalista da banda. A melodia era um padrão de acordes. No início, Martin não a levou a sério "ao transmitir a melodia para o resto da banda em sua pior voz de imitação de Neil Young". Martin disse: "A canção tinha a palavra 'estrelas' e isso parecia uma palavra que você deveria cantar com uma voz de Neil Young". A melodia "começou muito mais devagar", segundo Will Champion, baterista da banda, e soou como uma canção de Neil Young. Pouco tempo depois, apesar de não levar a canção a sério, a idéia de Martin deu certo quando ele desenvolveu o ritmo do verso. Quando Jonny Buckland, guitarrista da banda, começou a tocá-la e acrescentou a ela suas próprias idéias, eles tinham criado o riff, "e ele meio que ficou um pouco mais pesado".
Enquanto compunha a letra da canção, no entanto, Martin não conseguiu encontrar as palavras certas. Ele estava pensando em uma palavra específica para se adequar à idéia principal e ao tema da canção. Ele pensou que esta palavra em falta era uma palavra-chave na letra da canção. Ele olhou ao redor do estúdio e encontrou a lista telefônica Yellow Pages. Martin mais tarde intitulou a canção "Yellow" como uma referência à lista telefônica. Mas, segundo ele, "Em um universo alternativo, esta canção poderia ser chamada de 'Playboy'". A letra progrediu a partir daí, com a colaboração da banda. O baixista da banda, Guy Berryman, criou a linha de abertura "Look at the stars". Naquela noite, tendo composto rapidamente a canção, a banda a gravou.