John Brown nasceu a 9 de maio de 1800, em Torrington, Connecticut. Ele foi o quarto dos oito filhos de Owen Brown (1771-1856) e Ruth Mills (1772-1808) e neto do capitão John Brown (1728-1776). Os antepassados de Brown eram puritanos ingleses do século XVII.
Em 1805, a família mudou-se para Hudson, Ohio. [] Owen Brown abriu aqui um curtume. [] Hudson tinha muita atividade anti-escravidão. Owen fazia parte dela. Owen forneceu uma casa segura para os fugitivos da Underground Railroad. [] Não havia uma escola secundária em Hudson naquela época, então John estudou na escola da abolicionista Elizur Wright. Elizur Wright era o pai de Elizur Wright, em Tallmadge, nas proximidades. []
O pai de Ulysses S. Grant, Jesse R. Grant, foi o aprendiz de Owen Brown.
Aos 16 anos de idade, Brown deixou sua família e foi para Plainfield, Massachusetts. Ele se juntou a um programa preparatório. Pouco depois, ele foi para a Academia Morris em Litchfield, Connecticut.
Em 1820, Brown casou-se com Dianthe Lusk. Seu primeiro filho, John Jr., nasceu 13 meses depois. Em 1825, procurando um lugar mais seguro (para escravos fugitivos), Brown e sua família mudaram-se para New Richmond, Pennsylvania. Ele comprou 200 acres (81 hectares) de terra. Ele limpou um oitavo dele, e construiu uma cabana, um celeiro e um curtume. O curtume tinha uma sala secreta para esconder escravos em fuga. O local John Brown Tannery foi inscrito no Registro Nacional de Lugares Históricos em 1978. Foi "uma grande parada na ferrovia [subterrânea], marcando seu lugar na história de 1825 a 1835". Durante esse período, "Brown ajudou a uma fuga estimada em 2.500 escravos".
Em 1829, algumas famílias brancas pediram à Brown que os ajudasse a remover os nativos americanos que caçavam anualmente na área. Brown lhes disse: "Eu não terei nada a ver com [tal] ato mau". Eu [preferiria] pegar minha arma e ajudá-los [a remover] do país". Ao longo de sua vida, Brown manteve relações pacíficas com seus vizinhos nativos americanos. Às vezes ele ia com eles em viagens de caça, e os convidava para comer em sua casa.
Em 1831, um de seus filhos morreu. Brown ficou doente, e seus negócios começaram a funcionar mal. Isto fez com que Brown tivesse muitas dívidas. No verão de 1832, logo após a morte de um filho recém-nascido, sua esposa, Dianthe, morreu. A única família que lhe restava eram seus filhos John Jr., Jason, Owen e Ruth. (Outros três de seus filhos morreram antes de se tornarem adultos). Em 14 de junho de 1833, Brown casou-se com Mary Ann Day, de 16 anos (15 de abril de 1817 - 1º de maio de 1884). Ela era do condado de Washington, Nova York. Eles tinham 13 filhos; os vivos na morte de John Brown eram Salmon, Annie, Sarah, e Ellen.
Em 1836, Brown mudou sua família para Franklin Mills, Ohio (agora conhecido como Kent). Lá, ele pediu dinheiro emprestado para comprar terrenos na região. Ele construiu e operou um curtume ao longo do rio Cuyahoga. Seu sócio era Zenas Kent.
Em 1837, quando soube que Elijah P. Lovejoy tinha sido assassinado, Brown prometeu: "Aqui, diante de Deus, [com testemunhas ao meu redor], a partir de [agora], eu (dedico) minha vida à destruição da escravidão!"
Ele acreditava fortemente no cristianismo. Ele acreditava que os cristãos deveriam tratar as pessoas da mesma forma, não importando a cor de sua pele. Muitos cristãos brancos na América nesta época não concordavam com isto.