Hildesheim é uma das cidades mais antigas do norte da Alemanha. A cidade pode ter sido fundada quando o bispo se mudou de Elze para o vau Innerste, onde era um mercado importante na rota comercial de Hellweg. O povoado logo se transformou em uma cidade à qual o rei Otto III concedeu direitos de mercado em 983. Originalmente o mercado era realizado em uma rua chamada Old Market (Alter Markt), que ainda hoje existe. O primeiro mercado foi instalado em torno da Igreja de Santo André. À medida que a cidade crescia, um mercado maior se tornava mais importante. O mercado atual em Hildesheim foi realizado no início do século XIII quando a cidade tinha uma população de cerca de 5.000 habitantes. Quando Hildesheim obteve os direitos de cidade em 1249, era uma das maiores cidades do norte da Alemanha. Durante quatro séculos o clero governou Hildesheim, antes da construção de uma prefeitura e os cidadãos ganharam alguma influência e independência. A construção da atual prefeitura começou em 1268, e em 1367 Hildesheim tornou-se um membro da Liga Hanseática. Uma guerra entre os cidadãos e seu bispo custou caro em 1519-1523 quando eles se envolveram em uma rixa. Hildesheim tornou-se protestante em 1542, e somente a catedral e alguns outros edifícios permaneceram nas mãos dos Imperiais (católicos romanos). Várias vilas ao redor da cidade também permaneceram católicas romanas. Em 1813, após as Guerras Napoleônicas, a cidade tornou-se parte do Reino de Hanôver, que foi anexado pelo Reino da Prússia após a Guerra Austro-Prussiana em 1866 como uma província.
A cidade foi bombardeada na Segunda Guerra Mundial, mas o bombardeio teve pouca importância no decorrer da guerra. 28,5% das casas foram destruídas e 44,7% danificadas. 26,8% das casas não tiveram danos. O centro, que ainda tinha seu caráter medieval até então, estava quase nivelado. Como em muitas cidades, foi dada prioridade à construção rápida de moradias muito necessárias, e estruturas de concreto tomaram o lugar das construções destruídas. Felizmente, a maioria das grandes igrejas, duas delas agora Patrimônio Mundial da UNESCO, foram reconstruídas no estilo original logo após a guerra. Durante a guerra, materiais valiosos do patrimônio mundial haviam sido escondidos no subsolo da muralha da cidade. Em 1978, foi fundada a Universidade de Hildesheim. Nos anos 80, começou uma reconstrução do centro histórico. Alguns dos novos edifícios de concreto perto do mercado foram demolidos. Réplicas dos edifícios originais foram construídas em seu lugar.