As partes mais antigas do edifício datam de 1094. Cerca de 1270 uma sinagoga maior, que incluía partes do edifício mais antigo, foi construída. O muro ocidental do edifício data desta época. Ela tem suas seis janelas originais. Outro andar foi acrescentado no início dos anos 1300.
Em 1349, muitas pessoas morreram devido à doença da Morte Negra. As pessoas diziam que a culpa era dos judeus. Os judeus foram assassinados e obrigados a deixar a cidade. Este pogrom é conhecido como o Massacre de Erfurt. A sinagoga foi danificada e a Câmara Municipal de Erfurt assumiu o controle do edifício. Mais tarde, eles venderam-no a um empresário local. Ele o usou como um armazém e fez mudanças no interior, incluindo a construção de uma adega. Durante os 500 anos seguintes, foi usado para armazenar mercadorias.
A partir do século XIX, o edifício foi utilizado como salão de baile, restaurante e até mesmo como pista de boliche. Estas mudanças fizeram com que a Velha Sinagoga fosse em sua maioria esquecida. Sua história não foi reconhecida, o que ajudou a protegê-la durante o período nazista.
No final dos anos 80, houve um interesse renovado pelo antigo edifício. O historiador arquitetônico Elmar Altwasser começou a pesquisá-lo em 1992. A Câmara Municipal de Erfurt comprou o imóvel em 1998 e o pesquisou e conservou. Todas as etapas da história do edifício foram conservadas, não apenas sua utilização como sinagoga.
Em 2007, um raro e bem preservado banho ritual judeu, um Mikveh, foi descoberto não muito longe da Antiga Sinagoga por arqueólogos. Foi construído por volta de 1250.
Em 2015, a Antiga Sinagoga e Mikveh, e uma casa de pedra no centro medieval da cidade de Erfurt, também construída por volta de 1250 que tinha pertencido aos judeus, foram propostos como Patrimônio Mundial. Isto foi listado provisoriamente, mas nenhuma decisão final foi tomada.
