No ano de 1086, 15 famílias e 3 escravos viviam em Hartley. Antes da Peste Negra (1348), cerca de 150 pessoas viviam aqui. 53 pessoas fizeram pagamentos de impostos em 1377, o que significa que cerca de 85 pessoas moravam aqui então. Em 1392 um jornal nos diz que havia uma casa principal, onde vivia um gerente. Ele cultivava terras para o proprietário. Este terreno se chamava Hartley Court. Outras pessoas que possuíam terras em Hartley, tinham que ir ao tribunal do proprietário e fazer algum outro trabalho para ele. Houve uma luta em Hartley Wood em 1554, entre partidários e oponentes da Rainha Mary I da Inglaterra. Seus partidários venceram. Hartley em 1650 era como o lugar em 1850, porque quase todos os edifícios estavam lá na época. Em 1770, o escritor Edward Hasted disse que não havia muitas pessoas indo a Hartley.
Algumas construções foram feitas no século XVII (como Hartley House e Yew Cottage). Em 1841 havia 224 pessoas morando em Hartley. Quase todas trabalhavam nas fazendas. Havia também um fabricante de rodas, um metalúrgico e vendedores de bebidas.
O crescimento da Hartley começou depois que a ferrovia chegou a Longfield, em 1876, e a água por canalização chegou em 1902. As duas empresas seguintes - Payne, Trapps and Co Ltd, e Small Owners Limited venderam terras para casas e pequenas fazendas. Depois de 1945, houve muitas casas e estradas novas.
