O ANC foi fundado em resposta direta ao que era visto como injustiça contra os negros sul-africanos nas mãos de seu governo branco, em sua maioria afrikaner. O ANC teve suas origens em um pronunciamento de Pixley ka Isaka Seme que disse em 1911 Esquecer todas as diferenças do passado entre os africanos e unir-se em uma organização nacional. O ANC foi criado no ano seguinte, em 8 de janeiro de 1912.
O governo da recém-formada União da África do Sul iniciou uma opressão sistemática do povo negro na África do Sul. A Lei da Terra dos Nativos foi promulgada em 1913. O efeito dessas leis foi forçar muitos não-brancos de suas fazendas para as cidades e vilas a trabalhar, e restringir seu movimento dentro da África do Sul. Em 1919, o ANC liderou uma campanha contra os passes, e em 1929 o ANC apoiou uma greve dos trabalhadores mineiros militantes.
O ANC tornou-se dormente em meados dos anos 20. Durante essa época, os negros também foram representados pelo Sindicato dos Trabalhadores da Indústria e do Comércio e pelo partido outrora comunista apenas branco. Em 1927, J.T. Gumende (presidente do ANC) propôs a cooperação com os comunistas em uma tentativa de revitalizar a organização, mas ele foi votado fora do poder nos anos 30. Isto levou o ANC a tornar-se em grande parte ineficaz e inativo, até meados dos anos 40, quando o ANC foi remodelado como um movimento de massa.
O ANC respondeu militarmente aos ataques aos direitos dos sul-africanos negros, bem como aos apelos a greves, boicotes e rebeldia. Isto levou a uma posterior Campanha de Desafio nos anos 50, um movimento de resistência em massa à África do Sul sob o apartheid. O governo tentou deter o ANC proibindo os líderes do partido e promulgando novas leis para deter o ANC, mas estas medidas falharam.
Em 1955, o Congresso do Povo adotou oficialmente a Carta da Liberdade, declarando os princípios centrais da Aliança do Congresso Sul-Africano, que consistia no Congresso Nacional Africano e seus aliados, o Congresso Sul-Africano da Índia, o Congresso Sul-Africano dos Democratas e o Congresso do Povo Colorido. O governo alegou que este era um documento comunista e, conseqüentemente, os líderes do ANC e do Congresso foram presos. Em 1960, houve o Massacre de Sharpeville, no qual 69 pessoas foram mortas quando a polícia abriu fogo contra os manifestantes anti-apartheid.
Os brancos acabaram se juntando à luta contra o apartheid, levando muitos negros supremacistas a se separarem do ANC.
Umkhonto nós Sizwe
Umkhonto we Sizwe (ou MK), traduzido "Spear of the Nation", era a ala militar do ANC. Em parte em resposta ao Massacre de Sharpeville de 1960, os membros individuais do ANC pensaram que a violência era necessária porque o protesto passivo pacífico havia falhado. Havia uma parcela significativa do ANC que, portanto, recorreu à violência para atingir seus objetivos. Uma porção significativa da liderança do ANC concordou que esta violência era necessária para combater o crescente recuo do governo.
Alguns membros do ANC ficaram perturbados com as ações da MK e se recusaram a aceitar a violência como necessária para o fim do Apartheid, mas esses indivíduos se tornaram uma minoria à medida que os líderes militantes como Nelson Mandela ganharam popularidade significativa. Muitos consideram suas ações como criminosas, mas a MK disse que a violência era justificada pelo objetivo de acabar com o Apartheid. Alguns membros da MK cometeram atos terroristas para alcançar seus objetivos, e a MK foi responsável pela morte tanto de civis quanto de membros das forças armadas. Em cooperação com o Partido Comunista Sul-Africano, a MK foi fundada em 1961.