Columbia está na linha de outono a partir das Montanhas Apalaches. A linha de outono é o ponto onde os barcos não podem viajar mais para cima, e é também o ponto mais distante para baixo, onde a queda de água pode alimentar utilmente um moinho.
A capital do estado antes de 1790 era Charleston, na costa do Oceano Atlântico. Em 1786, o legislador decidiu mudar a capital para o centro do estado, e o local de Columbia foi escolhido por sua localização no rio a apenas 21 km a noroeste do centro geográfico da Carolina do Sul. A Assembléia Legislativa do Estado se reuniu pela primeira vez em 1790. Após permanecer sob o governo direto da legislatura durante as duas primeiras décadas de sua existência, Columbia foi incorporada como uma vila em 1805 e depois como uma cidade em 1854. Columbia recebeu um grande estímulo ao desenvolvimento quando foi conectada em uma rota de água direta a Charleston, pelo Canal de Santee. Este canal conectou os rios Santee e Cooper em um trecho de 35 km (22 milhas). Foi fretado pela primeira vez em 1786 e concluído em 1800, tornando-o um dos canais mais antigos dos Estados Unidos. Com o aumento do tráfego ferroviário, cessou sua operação por volta de 1850.
Columbia foi uma das primeiras cidades planejadas nos Estados Unidos. Ela é conhecida por suas ruas largas.
Em 17 de fevereiro de 1865, durante a Guerra Civil, um incêndio destruiu grande parte da Colômbia enquanto estava ocupada por tropas da União sob o comando do General William Tecumseh Sherman.
O século 20 viu a Colômbia emergir como um centro de manufatura têxtil regional. Na década de 1920, os empresários da Colômbia construíram uma grande barragem no rio Saluda para produzir energia hidrelétrica. A barragem, utilizando o solo argiloso vermelho nativo e o leito rochoso, era a maior barragem de barro do mundo quando foi concluída em 1930. O lago Murray, que foi formado pela barragem, tem 41 milhas (66 km) de comprimento e 14 milhas (23 km) de largura em seu ponto mais largo. Na época em que o lago foi concluído, era o maior reservatório feito pelo homem do mundo. A empresa que construiu a barragem cresceu para se tornar SCANA Corporation, um dos maiores empregadores da Colômbia.
A cidade de Columbia realizou recentemente uma série de projetos de re-desenvolvimento e tem vários outros planejados. O histórico Congaree Vista, um distrito de 1.200 acres (5 km2) que corre do distrito comercial central em direção ao rio Congaree, apresenta uma série de edifícios históricos que foram reabilitados.