A precisão de um valor numérico descreve o número de dígitos que são usados para mostrar esse valor. Em um cenário científico, este seria o número total de dígitos (às vezes chamados de algarismos significativos ou dígitos significativos) ou, menos comumente, o número de dígitos fracionários ou casas decimais (o número de dígitos após o ponto decimal). Esta segunda definição é útil em aplicações financeiras e de engenharia onde a contagem de dígitos na parte fracionária tem particular importância.
Em ambos os casos, o termo "precisão" pode ser usado para descrever a posição na qual um resultado impreciso será arredondado. Por exemplo, na aritmética de ponto flutuante, um resultado é arredondado para uma precisão determinada ou fixa, que é o comprimento do significado resultante. Nos cálculos financeiros, um número é frequentemente arredondado para um determinado número de casas (por exemplo, para duas casas após o separador decimal para muitas moedas mundiais).
Como exemplo, a quantidade decimal 12.345 pode ser expressa com vários números de dígitos significativos ou casas decimais. Se não houver precisão suficiente, então o número é arredondado de alguma forma para se adequar à precisão disponível. A tabela a seguir mostra os resultados para várias precisões totais e casas decimais arredondadas para o valor mais próximo usando o método de arredondamento para pares.
Observe que muitas vezes não é apropriado exibir uma figura com mais dígitos do que aquela que pode ser medida. Por exemplo, se um dispositivo mede até a grama mais próxima e dá uma leitura de 12,345 kg, ele criaria falsa precisão se a medição fosse expressa "12,34500 kg" com 2 zeros extras ("00") no final.
A representação de um número positivo x a uma precisão de p dígitos significativos tem um valor numérico que é dado pela fórmula
redondo(10-n-x)-10n, onde n = piso(log10 x) + 1 - p.
Para um número negativo, o valor numérico é menos o do valor absoluto. O número 0, para qualquer precisão, pode ser considerado como 0.