A carreira de Schell começou em 1955. Seu filme foi Kinder, Mütter und ein General. Ele apareceu então em dois outros filmes até assumir seu papel como Hans Rolfe no julgamento em Nuremberg, em 1961. Seu papel como Hans lhe rendeu grande fama e sucesso. Ele ganhou um Oscar e um Prêmio Globo de Ouro de Melhor Ator.
Schell apareceu então em outros grandes filmes que lhe renderam indicações para um Oscar. Ele foi indicado por seu papel como Arthur Goldman em O Homem da Cabine de Vidro, por seu papel como Johann em Júlia. Ele então ganhou um Prêmio Globo de Ouro para Melhor Ator Coadjuvante em 1992 por seu papel como Vladimir Lenin no filme Stalin.
Em seguida, Schell dirigiu um filme de televisão Candles in the Dark. Depois de sua vitória em 1992, Schell apareceu então em muitos filmes de televisão. Em 1998, Schell apareceu como Jason Lerner no filme Deep Impact de 1998. Seu último papel foi no filme de comédia The Brothers Bloom as Diamond Dog, de 2008.