Filhos de imigrantes judeus russos, Robert e Richard Sherman começaram a escrever canções juntos em 1951 sobre um desafio de seu pai, o compositor do Tin Pan Al Al Al Sherman. Os irmãos escreveram juntos e com diferentes parceiros de composição ao longo do resto da década.
Em 1958, Robert fundou a empresa editora Music World Corporation. Mais tarde, ela teve um relacionamento com o braço editorial da Disney, a Wonderland Music Company, filiada à BMI. Nesse mesmo ano, os Irmãos Sherman tiveram seu primeiro sucesso com "Tall Paul", cantado pela Mouseketeer Judy Harriet na gravadora Surf Records. Também foi cantado pela Mouseketeer Annette Funicello. O sucesso desta canção chamou a atenção de Walt Disney. Ele então contratou os Irmãos Sherman como compositores da equipe para os estúdios Walt Disney. A primeira canção que escreveram em tarefa pessoal de Walt Disney foi "Strummin' Song", em 1961. Ela foi usada no filme Annette Funicello feito para a televisão chamado The Horsemasters.
Enquanto na Disney, os Irmãos Sherman escreveram mais partituras de filmes do que qualquer outro compositor da história do cinema. Eles também escreveram o que talvez seja sua canção mais conhecida, "é um mundo pequeno (afinal de contas)" para a Feira Mundial de Nova York de 1964. Desde então, alguns afirmaram que esta se tornou a canção mais traduzida e executada na Terra, embora isto se deva em grande parte ao fato de ser tocada no parque temático da Disney "it's a small world", atrações com o mesmo nome.
Em 1965, os Irmãos Sherman ganharam dois Prêmios da Academia para Mary Poppins, que incluem as canções "Feed The Birds", "Supercalifragilisticexpialidocious" e o Oscar "Chim Chim Cher-ee". Desde a primeira apresentação de Mary Poppins, os Shermans ganharam nove indicações ao Oscar, dois prêmios Grammy, quatro indicações ao Grammy Award e 23 álbuns com certificação Gold e Platinum.
Robert e Richard Sherman trabalharam diretamente para Walt Disney, completando as partituras para os filmes musicais de ação ao vivo The Happiest Millionaire e The One and Only, Genuine, Original Family Band até a morte da Disney em 1966. Desde que deixaram a empresa, os irmãos trabalharam como compositores freelance em partituras de filmes, programas de televisão, exibições de parques temáticos e musicais de palco.
Sua primeira missão não-disney veio com a produção do filme de Albert R. Broccoli Chitty Chitty Bang Bang para Artistas Unidos, em 1968. Recebeu dos irmãos sua terceira indicação ao Oscar de Melhor Canção Original por sua canção titular particularmente memorável.
Em 1970, os Shermans voltaram à Disney para um breve período de trabalho, onde concluíram os trabalhos no The Aristocats and Bedknobs and Broomsticks. Este último filme conseguiu para os irmãos sua quarta e quinta indicação ao Oscar. Em 1972 foi lançado o filme Snoopy Come Home, pelo qual os irmãos receberam uma indicação ao Grammy.
Em 1973 os Irmãos Sherman também fizeram história ao se tornarem os únicos americanos a ganhar o Primeiro Prêmio no Festival de Moscou para Tom Sawyer, para o qual eles também são autores do roteiro.
Em 1976, "The Slipper and the Rose" foi escolhido para ser o desempenho do ano do Comando Real. A apresentação foi assistida pela Rainha Elizabeth, a Rainha Mãe. Uma versão musical moderna da clássica história da Cinderela, "Slipper", também apresentou canções, partitura e roteiro dos Irmãos Sherman. Duas outras indicações ao Oscar foram recebidas pelos irmãos para o filme. Nesse mesmo ano, os Irmãos Sherman receberam sua estrela no "Caminhada da Fama" de Hollywood diretamente em frente ao Teatro Chinês Grauman.
Os muitos outros créditos dos irmãos Sherman Brothers na Disney e em outros filmes de bilheteria incluem The Jungle Book (1967), The Aristocats (1970), The Parent Trap (1961), The Parent Trap (1998), The Charlotte's Web (1973), Huckleberry Finn (1974), The Many Adventures of Winnie the Pooh (1977), Snoopy, Come Home (1972), Bedknobs and Broomsticks (1971), e Little Nemo: As Aventuras em Slumberland (1989).
Fora do cinema, o sucesso de seu Tony Award foi aqui! (1974) foi o maior sucesso do musical original da Broadway daquele ano. Os Irmãos Sherman também escreveram inúmeras músicas mais vendidas, incluindo "You're Sixteen", que chegou ao Top 10 Hot 100 da Billboard duas vezes: primeiro com Johnny Burnette em 1960 e depois em #1 com Ringo Starr mais de treze anos depois. Outros dez sucessos de primeira incluem "Pineapple Princess", "Let's Get Together", e mais.
Em 2000, os Irmãos Sherman escreveram a partitura para o filme da Disney The Tigger Movie. Este filme marcou o primeiro grande filme de cinema dos irmãos para a empresa Disney em mais de 28 anos.
Em 2003, quatro musicais dos irmãos Sherman Brothers foram classificados no Top 10 Favorite Children's Films of All Time em uma pesquisa nacional britânica relatada pela BBC. Mais notavelmente, Chitty Chitty Bang Bang 1968 encabeçou a lista em #1.
Em anos posteriores, com a mudança de Robert para Londres, os irmãos escreveram muitas músicas novas para as apresentações musicais de palco de Chitty Chitty Bang Bang e Mary Poppins, produzidas pela Disney e Cameron Mackintosh.
Por suas contribuições para a indústria cinematográfica, os irmãos Sherman têm uma estrela na Hollywood Walk of Fame em 6918 Hollywood Blvd. Eles foram empossados no Hall da Fama dos Songwriters em 9 de junho de 2005. Em 16 de novembro de 2006, Mary Poppins estreou no New Amsterdam Theatre na Broadway.
Em 17 de novembro de 2008, os Irmãos Sherman receberam a Medalha Nacional das Artes, que é a maior honra dada aos artistas pelo Governo dos Estados Unidos. O prêmio foi entregue pelo Presidente dos Estados Unidos George W. Bush em uma cerimônia na Sala Leste da Casa Branca.
Em 22 de maio de 2009, The Boys: the Sherman Brothers' Story, um filme sobre a dupla, foi exibido nas salas de cinema. O filme foi dirigido e produzido por seus filhos, Gregory V. Sherman e Jeff Sherman. Foi exibido pela Walt Disney Pictures.
Em outubro de 2009, a Disney lançou uma faixa de 59, dois CD compêndio de seu trabalho para o estúdio, com duração de quarenta e dois anos. O CD tem o título "The Sherman Brothers Songbook".
Em 11 de março de 2010 os Irmãos Sherman foram presenteados com uma Janela na Disneylândia Mainstreet em Anaheim, Califórnia, em homenagem a sua contribuição aos parques temáticos da Disney. Em 17 de maio de 2010, os Sherman Brothers receberam o "Prêmio Career Achievement Award" na Gala de Gala do The The Theatre Museum 2010, em Nova York.