Sarrazin nasceu em Gera, Alemanha. Seu pai era médico e a mãe filha de um latifundiário prussiano ocidental. Sua família paterna, uma família Huguenot francesa, é originária da Borgonha. Sua avó era inglesa-italiana. Ele explicou que seu nome significa Saracen (ou seja, muçulmano) e é comum no sul da França. Ele vem dos piratas árabes que eram chamados de "sarracenos" na Idade Média. Sua mãe tem uma origem polonesa. Ele se referiu a si mesmo como "um vira-lata europeu".
Ele cresceu em Recklinghausen. Aos sete anos, ele foi para um orfanato na Baviera. Ele se formou no ginásio local e depois serviu no exército de 1967 a 1971. Em seguida, estudou Economia na Universidade de Bonn, obtendo seu doutorado. De novembro de 1973 a dezembro de 1974, trabalhou para a Fundação Friedrich Ebert e tornou-se ativo no SPD.
Em 1975 Sarrazin começou a trabalhar no Ministério Federal da Fazenda. Até 1981 ele atuou como Chefe de Unidade no Ministério do Trabalho e Assuntos Sociais. Em 1981, ele retornou ao Ministério Federal de Finanças. Em outubro de 1981, ele começou a trabalhar como chefe de gabinete e foi um colaborador próximo do Ministro Federal de Finanças Hans Matthöfer e seu sucessor Manfred Lahnstein. Mesmo após o fim da coalizão socialista-liberal em outubro de 1982, Sarrazin permaneceu no Ministério da Fazenda. Lá ele foi diretor de várias unidades, incluindo (de 1989 a 1990) as "Innerdeutsche Beziehungen", que a união monetária, econômica e social alemã preparou. Durante seu tempo como Chefe do Ministério Federal da Fazenda, ele foi parcialmente responsável pelas ferrovias alemãs.
De 1990 a 1991, Sarrazin trabalhou para a Treuhand. Depois, foi até 1997 Secretário de Estado no Ministério da Fazenda na Renânia-Palatinado.
Sarrazin é casada com Ursula Sarrazin (née Breit) e tem dois filhos.
