A prisão foi construída em 1876. No início era usada apenas para soldados, mas depois de 1919 foi usada também para detentos civis. Naquela época, ela tinha até 600 detentos.
Após o incêndio do Reichstag de 1933, oponentes de Hitler e jornalistas como Egon Kisch e Carl von Ossietzky foram mantidos lá sob a chamada custódia protetora. A prisão Spandau tornou-se uma espécie de predecessora dos campos de concentração nazistas. Era para ser controlada pelo Ministério da Justiça da Prússia, mas a Gestapo torturou e abusou de seus detentos, como recorda Egon Erwin Kisch em suas memórias da prisão de Spandau. No final de 1933, os primeiros campos de concentração nazistas haviam sido construídos (em Dachau, Osthofen, Oranienburg, Sonnenburg, Lichtenburg e os campos pantanosos ao redor de Esterwegen). Todos os prisioneiros restantes em "custódia protetora" nas prisões estaduais foram transferidos para estes campos de concentração.
Após a Segunda Guerra Mundial, foi operado pelas Autoridades das Quatro Potências para abrigar os criminosos de guerra nazistas condenados à prisão no Julgamento de Nuremberg.
Apenas sete prisioneiros foram finalmente encarcerados ali. Chegando de Nuremberg em 18 de julho de 1947, eles estavam:
- Rudolf Hess - cumprindo uma sentença de prisão perpétua (falecido em 1987)
- Walther Funk - cumprindo uma sentença de prisão perpétua (libertado em 16 de maio de 1957)
- Erich Raeder - cumprindo prisão perpétua (libertado em 1955)
- Albert Speer - cumprindo um mandato de 20 anos (lançado em 1966)
- Baldur von Schirach - cumprindo um mandato de 20 anos (lançado em 1966)
- Konstantin von Neurath - cumprindo um mandato de 15 anos (lançado em 1954)
- Karl Dönitz - cumprindo um mandato de 10 anos (lançado em 1956)
Dos sete, apenas quatro cumpriram todas as sentenças; os três restantes, Neurath, Raeder e Funk, foram soltos cedo devido a problemas de saúde. Entre 1966 e 1987, Rudolf Hess foi o único preso na prisão de Spandau. Seu único companheiro foi o diretor, Eugene K. Bird, que se tornou um amigo íntimo. Bird escreveu um livro sobre a prisão de Hess, intitulado O Homem mais solitário do mundo.
Spandau foi uma das duas únicas organizações de Quatro Potências a continuar a operar após a quebra do Conselho de Controle Aliado; a outra foi o Centro de Segurança Aérea de Berlim. As quatro potências ocupantes de Berlim alternariam o controle da prisão mensalmente, tendo cada uma delas a responsabilidade por um total de três meses fora do ano.
A prisão foi demolida em 1987, em grande parte para evitar que se tornasse um santuário neonazista, após a morte de seu último prisioneiro remanescente, Rudolf Hess, que havia sido o único ocupante da prisão após a libertação de Speer e von Schirach em 1966. O local foi transformado em um estacionamento e em um centro comercial NAAFI, chamado The Britannia Centre Spandau e apelidado de Hessco's depois de uma cadeia de supermercados britânica chamada "TESCO". Todos os materiais da prisão demolida foram moídos em pó e despejados no Mar do Norte ou enterrados na antiga RAF Gatow.
Em 2006, um Supermercado Kaiser's, ALDI e uma loja de produtos eletrônicos de consumo Media Markt ocuparam o antigo presídio. No final de 2008, a Media Markt deixou o principal complexo de compras.