O nome do rio vem de uma palavra algonquiana, lappihanne (também registrada como toppehannock), que significa "rio de água rápida, ascendente" ou "onde a maré ebbs e flui", nome usado pela população nativa local, a tribo Rappahannock.
Embora houvesse alguns pequenos povoados ao longo do baixo Rappahannock durante os primeiros tempos coloniais, o assentamento do vale do rio Rappahannock começou a sério durante os primeiros anos do século 18, a pedido do governador Alexander Spotswood. O rio James havia sido pesquisado até sua linha de queda, o ponto onde, geologicamente, o leito continental do Piemonte encontra as rochas sedimentares e os solos aluviais da planície costeira. O Spotswood encorajava o assentamento em um vale fluvial diferente do do rio James. Em 1714, ele começou a procurar imigrantes da Renânia-Palatinado e da Suíça para se estabelecerem em terras que ele controlava perto de onde o Rappahannock e o Rapidan se juntaram. Conhecido como o(s) povoado(s) Germanna, estes vilarejos foram fundados a fim de explorar os depósitos de minério de ferro da região.
A Batalha do Rio Rappahannock foi travada no rio durante a Guerra de 1812. Dezessete barcos britânicos repletos de centenas de fuzileiros e marinheiros capturaram quatro corsários americanos.
Durante a Guerra Civil Americana, o rio, com poucos vaus convenientes e menos pontes, proporcionou uma barreira e uma linha defensiva. Atrás desta linha, as tropas tinham pouco medo de ataque do lado do rio. Era uma barreira especialmente difícil de ser vencida pelas tropas da União em suas tentativas de empurrar para o sul da Virgínia. O controle do rio mudou de mãos muitas vezes durante o curso da guerra. Batalhas significativas travadas ao longo do rio incluem a Batalha de Fredericksburg e a Batalha da Estação Rappahannock. A linha defensiva no rio foi finalmente contornada pela Campanha de Ulysses S. Grant na Selva (ou Overland) de 1864, terminando com a vitória final da União.
Em alguns documentos dos séculos XVIII e XIX, incluindo alguns registros da Guerra Civil, o Rio Rappahannock foi referido como "Rio Hedgeman". Um levantamento de 1736-1737 rotulava o Rappahannock acima da foz do Rapidan como "Canhão", e mais acima foi identificado como "Rio Hedgeman", com o nome de Nathaniel Hedgeman, um dos primeiros colonos da região.