Lee herdou uma série de escravos com a Casa de Arlington. Ele provou não ser um mestre escravo muito bom. Ele tentou a gentileza e recusou-se a usar a tortura. Mas os escravos sabiam que sua liberdade lhes havia sido concedida no testamento e se recusaram a trabalhar. Lee queria conceder-lhes a liberdade, mas precisava deles para ajudá-lo a enxergar o trabalho na Casa de Arlington. Pessoalmente, Lee odiava a escravidão, chamando-a de "maldade" tanto para
negros quanto para brancos. Mas ele achava que tinha que acabar gradualmente ou a economia do Sul iria entrar em colapso. Mas Lee concordava com outros sulistas que achavam que os negros eram inferiores. Ele acreditava que
Deus resolveria o problema em seu próprio tempo. Lee, como Thomas Jefferson, tinha sentimentos mistos sobre a escravidão.
A eleição de AbrahamLincoln em 1860 causou a secessão de vários estados em protesto. Isto colocou Lee em uma posição difícil. Os recém-formados Estados Confederados da América ofereceram a Lee o posto de brigadeiro-general. Lee não respondeu a essa oferta. Winfield Scott ofereceu-lhe o comando do exército de voluntários dos EUA. Ele também não respondeu a esta oferta. Entre 12 e 14 de abril de 1861, tropas americanas foram bombardeadas em Fort Sumter, em Charleston, Carolina do Sul. No mesmo dia, Virgínia se separou da União. Lee não apoiou a secessão, mas não pôde lutar contra seu próprio estado da Virgínia. Lee renunciou à sua comissão do Exército dos EUA em 22 de abril de 1861, na Casa de Arlington. Ele disse a seus amigos que não faria parte de uma invasão do Sul. Vários dias depois, ele aceitou o comando de todas as forças da Virgínia.
No início, Lee não comandou nenhum soldado em batalha. Ao invés disso, ele ajudou o presidente da Confederação Jefferson Davis a tomar decisões militares. Em 1862, ele se tornou o comandante do Exército da Virgínia do Norte. Ele lideraria o exército durante o resto da guerra. Ele ganharia muitas batalhas, mesmo que o exército da União nas batalhas tivesse mais homens e armas. Na batalha de Gettysburg, ele tentou invadir a União a fim de acabar com a guerra. Mas seu exército foi derrotado e ele teve que recuar para a Virgínia.
Durante 1864 e 1865, Lee lutou contra o general da União Ulysses S. Grant na Virgínia. Durante o final de 1864 e o início de 1865, Lee e Grant lutaram perto de Richmond, Virgínia, em uma série de batalhas chamada o Cerco de Petersburgo. Em abril de 1865, Grant forçou Lee a recuar de Richmond. Após uma série de batalhas, Grant cercou Lee perto do tribunal de Appomattox e forçou Lee a se render. Antes que ele se rendesse, ele disse "Eu preferiria morrer mil mortes do que me render".