O FW de Klerk nasceu em Joanesburgo em 1936. Ele é filho de Johannes de Klerk (1903-1979) e de Hendrina Cornelia de Klerk (1904-2001), que morreu apenas quatro meses antes da morte de sua ex-filha Marike Willemse e seu irmão para Wimpie de Klerk (1928-2009). Sua família, cujo nome vem do sobrenome francês "Le Clerc", "Le Clercq" ou "de Clercq" é de origem Huguenot. Ele se estabeleceu no país em 1686, poucos meses após a revogação do decreto de Nantes, e participou de vários eventos na história da Afrikaner. Seus ancestrais participaram do Grand Trek no trem liderado por Piet Retief para se livrarem do domínio britânico. Em 1838, três membros da família Klerk também foram mortos com Retief no Rei Kraal de Zulu, Dingane. Mais tarde, durante a Segunda Guerra Bôer (1899-1902), o avô FW de Klerk foi capturado duas vezes pelos britânicos antes de ser membro fundador do Partido Nacional em 1914, ao lado de James Barry Hertzog. Segundo o genealogista Keith Meintjies e confirmado pelo FW por Klerk, este último também está de acordo com Krotoa (Eva), uma Khoi fêmea, que serviu como intérprete para os colonos holandeses durante a fundação da Colônia da Cabeça.
Membro da Igreja Reformada Holandesa, FW by Klerk, é o filho mais novo, Jan Klerk, chefe da escola e ministro com várias pastas (1954-1969) e presidente do Senado (1969-1976), sobrinho de JG Strijdom, chefe do governo sul-africano de 1954 até 1958. Seu irmão mais velho Wimpie de Klerk é um analista político e co-fundador do Partido Democrata em 1989.
Escola secundária em Krugersdorp, um subúrbio de Johannesburg, FW by Klerk tem um diploma de honra da Universidade de Potchefstroom em 1958. Em 1959 ele casou-se com Marike Willemse (1937-2001), com quem vai criar três filhos adotados ). O casal, F. W. e Marike de Klerk, divorciou-se em 1998.
Durante os estudos universitários, entrou para o Partido Nacional e tornou-se membro do Broderbond.
Um advogado em Vereeniging, ao sul de Transvaal, recusou em 1972 a cadeira de direito público na Universidade Potchefstroom para concorrer às eleições gerais.