O Japão foi o primeiro país a construir linhas ferroviárias para viagens de alta velocidade. Como o Japão tem muitas montanhas, a rede que já existia era feita de linhas de bitola estreita de 3'6" (1067 mm), que tendiam a tomar rotas não diretas e não podiam ser adaptadas a velocidades mais altas. Devido a isso, o Japão tinha uma necessidade maior de novas linhas de alta velocidade do que os países onde o sistema de bitola padrão existente ou o sistema ferroviário de bitola larga podiam ser facilmente modernizados. Ao contrário das linhas mais antigas, as linhas Shinkansen são de bitola padrão e utilizam túneis e viadutos para atravessar e ultrapassar obstáculos, ao invés de contorná-los.
A construção da primeira seção do Tokaido Shinkansen entre Tóquio e Osaka começou em 1959. A linha foi inaugurada em 1º de outubro de 1964, bem a tempo das Olimpíadas de Tóquio. A linha foi um sucesso imediato, atingindo a marca de 100 milhões de passageiros em menos de três anos em 13 de julho de 1967 e um bilhão de passageiros em 1976.
Os primeiros trens Shinkansen funcionavam a velocidades de até 200 km/h (125 mph), mais tarde aumentaram para 220 km/h (135 mph). Alguns desses trens, com sua aparência clássica de nariz de bala, ainda são utilizados para parar os serviços entre Hakata e Osaka. Um vagão de um dos trens originais está agora no Museu Ferroviário Nacional Britânico em York.
Muitos modelos mais avançados de trem seguiram o primeiro tipo, geralmente cada um com sua própria aparência distinta. Os trens Shinkansen agora circulam regularmente a velocidades de até 300 km/h (185 mph), colocando-os entre os trens mais rápidos do mundo, juntamente com os trens TGV franceses e ICE alemães.
Originalmente destinadas a transportar trens de passageiros e de carga de dia e de noite, as linhas Shinkansen transportam apenas trens de passageiros. O sistema desliga entre a meia-noite e as 6:00 horas todos os dias para permitir que a manutenção ocorra, incluindo o funcionamento dos trens de teste Doutor Amarelo. Os poucos trens noturnos que ainda circulam no Japão circulam na antiga rede de bitola estreita, à qual o Shinkansen circula paralelamente.
Em 2003, JR Tokai relatou que o tempo médio de chegada do Shinkansen estava dentro de 6 segundos do tempo programado. Isto inclui todos os acidentes e erros naturais e humanos e é calculado a partir de cerca de 160.000 viagens feitas pelo Shinkansen. O recorde anterior era de 1997 e era de 18 segundos.
O primeiro descarrilamento de um trem Shinkansen no serviço de passageiros ocorreu durante o terremoto de Chuetsu em 23 de outubro de 2004. 6 do total de 8 vagões do trem no Joetsu Shinkansen descarrilaram perto da estação de Nagaoka em Nagaoka, Niigata.