Erros estatísticos e resíduos ocorrem porque a medição nunca é exata.
Não é possível fazer uma medição exata, mas é possível dizer quão precisa é uma medição. Pode-se medir a mesma coisa uma e outra vez e coletar todos os dados juntos. Isto nos permite fazer estatísticas sobre os dados. O que se entende por erros e resíduos é a diferença entre o valor observado ou medido e o valor real, que é desconhecido.
Se houver apenas uma variável aleatória, a diferença entre erros estatísticos e residuais é a diferença entre a média da população em relação à média da amostra (observada). Nesse caso, o residual é a diferença entre o que diz a distribuição de probabilidade, e o que foi realmente medido.
Suponha que haja uma experiência para medir a altura de homens de 21 anos de idade de uma determinada área. A média da distribuição é de 1,75 m. Se um homem escolhido ao acaso tiver 1,80 m de altura, o erro "(estatístico)" é de 0,05 m (5 cm); se ele tiver 1,70 m de altura, o erro é de -5 cm.
Um erro residual (ou de ajuste), por outro lado, é uma estimativa observável do erro estatístico não observável. O caso mais simples envolve uma amostra aleatória de n homens cujas alturas são medidas. A média da amostra é usada como uma estimativa da média da população. Então nós temos:
- A diferença entre a altura de cada homem da amostra e a média da população inobservável é um erro estatístico, e
- A diferença entre a altura de cada homem na amostra e a média da amostra observável é um resíduo.
A soma dos resíduos dentro de uma amostra aleatória deve ser zero. Os resíduos, portanto, não são independentes. A soma dos erros estatísticos dentro de uma amostra aleatória não precisa ser zero; os erros estatísticos são variáveis aleatórias independentes se os indivíduos forem escolhidos da população de forma independente.
Em suma: