La CIE define la respuesta visual humana en el rango de 380 nm a 780 nm de luz y proporciona tablas de ponderación para que un usuario pueda determinar un color a partir de una curva espectral multiplicando la medición del instrumento en una longitud de onda por la ponderación de la respuesta visual humana correspondiente en esa longitud de onda y sumando después estos datos para todas las longitudes de onda medidas. Estas tablas se ofrecen en intervalos de 1 nm, 5 nm y 10 nm. Para mediciones no críticas se han empleado intervalos más grandes, como de 20nm a 133nm, y se utilizan tablas de ponderación abreviadas. La resolución se refiere entonces a cuántos puntos de datos se han utilizado en el cálculo. Imaginemos que medimos dos trozos de pintura roja y calculamos su color. Sólo los laboratorios de investigación o de metrología nacional utilizan la ponderación de 1 nm, por lo que no vamos a utilizarla en nuestra discusión. Dependiendo del instrumento utilizado, acabaremos con 80 ó 40 resultados espectrales en la suma para la determinación del color crítico y, para las mediciones no críticas, puede que acabemos con sólo 20 o incluso 3 resultados para sumar.
La resolución espectral puede definirse además como el número de puntos de medición que hay en los resultados espectrales. Si se utiliza un detector de matriz fija, ¿cuántos elementos de matriz (píxeles) hay en el espectro medido? Suponiendo un rango de 400 nm (380 nm-780 nm), se pueden tener, por ejemplo, 256 o 128 píxeles, lo que da como resultado 1,56 nm/píxeles o 3,125 nm/píxeles.
¿Qué es la resolución?
Existen cuatro tipos de resolución de datos: espacial, espectral, radiométrica y temporal. Muchos instrumentos pueden captar uno o dos tipos de resolución simultáneamente, pero es raro encontrar equipos capaces de ofrecer los cuatro tipos. Este fenómeno se conoce como "compromiso de resolución". La mayoría de los instrumentos miden los tipos de resolución más utilizados: espacial y espectral. Juntas, las resoluciones espacial y espectral permiten a los científicos medir cuantitativamente factores como el color, el espacio y el detalle.