A idéia das armas ferroviárias foi sugerida pela primeira vez nos anos 1860 por um Sr. Anderson. Ele publicou um panfleto no Reino Unido intitulado Defesa Nacional, no qual ele propôs um plano de vagões ferroviários revestidos de ferro. Um russo, Lebedew, alegou ter inventado a idéia pela primeira vez em 1860, quando foi relatado que ele montou uma argamassa em um vagão de trem. []
A primeira arma ferroviária usada em batalha foi uma espingarda naval Brooke de 32 libras com fitas. Na Guerra Civil Americana, ela foi montada em um vagão plano e protegida com folhas de ferro. Em 29 de junho de 1862, Robert E. Lee teve a arma empurrada por uma locomotiva sobre a linha do Rio Richmond e York (mais tarde parte da Ferrovia do Sul) e usada na Batalha da Estação Savage. Há também uma foto de uma argamassa de cerco de 13 polegadas da União montada em um vagão ferroviário durante o cerco de Petersburg, Virgínia. Foi apelidado de Dictator ou Petersburg Express.
As armas ferroviárias foram usadas pela França durante o Cerco de Paris em 1870, e pelos britânicos durante o Cerco de Ladysmith durante a Segunda Guerra Bóer.
Primeira Guerra Mundial
A Alemanha já tinha algumas armas da Big Bertha no início da Primeira Guerra Mundial, mas os franceses tinham falta de artilharia de campo pesada. Grandes armas de defesa costeira e armas navais foram movidas para a frente. Estas eram geralmente inadequadas para uso em campo e precisavam de algum tipo de montagem. A arma ferroviária era uma solução óbvia. Em 1916, ambos os lados estavam usando armas ferroviárias.
A Baldwin Locomotive Works fabricou cinco pistolas ferroviárias calibre 14"/50 em trens para a Marinha dos Estados Unidos durante os meses de abril e maio de 1918. Cada trem transportava uma pistola de calibre Mk 4 14"/50. Eram espingardas navais de 14 polegadas (360 mm) usadas em navios de guerra da classe New Mexico e Tennessee, montadas em um vagão ferroviário com quatro truques de 6 rodas. Uma destas armas está em exposição fora do museu no estaleiro naval de Washington.
Segunda Guerra Mundial
A Segunda Guerra Mundial viu o uso final de armas ferroviárias. Os alemães usaram a enorme arma Schwerer Gustav de 80 cm (31 pol.), a maior peça de artilharia para ser usada em batalha. A ascensão do avião acabou efetivamente com o uso das armas ferroviárias. Como os navios de guerra, eles eram grandes, caros e facilmente destruídos do ar.