Detección de Valores Atípicos

Detección de Valores Atípicos

Outlier Detection

Por Eber Risco Sence

Los eventos extremos pueden crear problemas en el análisis y modelización de datos. Por ejemplo, un valor extremadamente grande puede causar en la muestra que la media y la desviación estándar sean mucho mayor que los valores de la población. En el análisis bivariado (es decir, X vs Y), un punto extremo puede influir adversamente en el valor de la muestra de un coeficiente de correlación, además pueden distorsionar los coeficientes de la recta de regresión, lo que sugiere un efecto que puede no reflejar la verdadera relación entre el dos variables (McCuen, 2003).

Después de haber decidido subjetivamente que uno o más valores en una muestra son los eventos extremos, los valores deben ser evaluados objetivamente. La intención es evaluar si el evento extremo es probable que haya ocurrido, si la muestra se obtuvo a partir de la población asumida correctamente. La teoría estadística en forma de una prueba de hipótesis se puede utilizar para tomar una decisión. Si la prueba estadística indica que el evento extremo observado es improbable que haya ocurrido durante el muestreo de la población, el evento extremo se llama atípico (outlier). Un valor atípico es un valor medido que, de acuerdo con una prueba estadística, es poco probable que haya ocurrido de acuerdo al resto de los datos de la muestra.

Después de haber decidido que un evento extremo es un outlier, surge la pregunta: ¿Qué se puede hacer con el valor? Si el valor se mantiene en la muestra, entonces puede distorsionar los valores o relaciones calculadas a partir de la muestra. La eliminación del valor debería producir estadísticas más precisas y relaciones con otras variables. Sin embargo, algunos profesionales se oponen a la eliminación de los outliers. Su argumento es que si el valor fue medido, podría haber ocurrido y no es correcto que sea eliminado de la muestra. Ambos son argumentos legítimos.

Mientras numerosos métodos han sido propuestos, los métodos de Dixon-Thompson y Rosner son utilizados comúnmente. El método de Chauvenet, una tercera prueba para los valores atípicos, es sencilla de implementar y de aplicar. Estos métodos definen un estadístico de prueba como la razón de dos desviaciones y se asume que los datos representan una población normal. El método de Rosner sólo es válido para muestras de más de 25 años. La prueba de Dixon-Thompson se puede aplicar para muestras más pequeñas. El método de Chauvenet se puede utilizar con cualquier tamaño de la muestra. Otros métodos para la utilización están basados en la distribución log-Pearson tipo III. El factor de discriminación más importante es probablemente la distribución supuesta de la población. Algunas pruebas de valores atípicos supone que los datos de la muestra proceden de una distribución de probabilidad normal, mientras que otros son válidos para la distribución Pearson tipo III. La distribución es un factor importante en la selección de la prueba más apropiada. Una decisión basada en una prueba puede no ser válido si los datos se muestrean a partir de una distribución que no es el mismo como se supone en el desarrollo de los valores críticos de la prueba. Dicha aplicación puede identificar valores atípicos más o menos que realmente existen en los datos incluidos en la muestra cuando la asunción de la distribución de la población es incorrecta.

En datos hidrológicos a menudo se supone que presentan una distribución log-normal o log-Pearson tipo III.

Método de Chauvenet

Este método requiere el calculo de la media (µ) y la desviación estándar (σ) de los datos analizados. Entonces el valor más extremo en la muestra, X_o es identificado y utilizado para calcular la desviación normal estándar (Z).

Si el valor calculado excede el valor crítico entonces X_o es considerado outlier.

1964	1965	1966	1967	1968	1969	1970	1971	1972	1973
14.96	46.58	12.12	16.28	4.1	28.97	47.36	47.7	135.7	19.5
1974	1975	1976	1977	1978	1979	1980	1981	1982	1983
19.9	49.3	22.3	17.9	13.2	15.6	3.7	26.5	23.3	213.1
1984	1985	1986	1987	1988	1989	1990	1991	1992	1993
8.9	0.5	12.3	23.2	10.4	39	16.1	17.5	25.9	36.5
1994	1995	1996	1997	1998	1999	2000	2001	2002	2003
34.6	14.2	19.4	63.5	342.3	67.8	34.2	50.2	37.7	13.1

 Tabla 1: Precipitación anual (mm) estación Talla.

De acuerdo a los datos de la tabla 1 la media es 41.13, la desviación estándar es 61.57, el valor extremo es 342.3. Por lo tanto el valor de Z calculado es 4.8913, para una muestra de 40 la probabilidad usada es de 1/80=0.0125, Para un test en dos direcciones con una mitad de probabilidad en cada cola (two tailed) el valor crítico es +-2.4977, por lo tanto el valor 342.3 es considerado outlier.

Método Log-Pearson tipo III (Bulletin 17B)

Bulletin 17B (Interagency Advisory Committee on Water Data, 1982) presenta criterios basados en una prueba unilateral para detectar valores atípicos con un 10% de nivel de significancia.  El valor atípico más alto y bajo son calculados con las siguientes ecuaciones:

Donde Y_L es el límite del logaritmo del valor atípico más alto o bajo, ý es la media del logaritmo de los datos analizados, S_y es la desviación estándar de los valores logarítmicos y K_N es la desviación crítica dada en el Bulletin 17B.

De acuerdo a los datos de la tabla 1 la media logarítmica es 1.3699, la desviación estándar logarítmica es 0.4738, el valor de K_N para 40 datos es 2.682. Por lo tanto 2.6408 y 0.0989 representan los límites máximo y mínimo respectivamente, aplicando antilogaritmo se obtiene como límite máximo 437.3938 mm y límite mínimo 1.2559 mm.

 Figura 1: Límites máximo y mínimo según el método de Log-Pearson tipo III.

De acuerdo a los límites y gráfico 1 se puede apreciar que existe un outilier (año 1985 con 0.5 mm).

Referencias:

• Chandler, R; Scott, M. 2011. Statistical Methods for Trend Detection and Analysis. London, UK, Wiley. 370 p.
• McCuen, R. 2003.Modeling Hydrologic Change.New York, US, CRC Press Company .450 p.
• Reiss, R; Thomas, M. 2007. Statistical Analysis of Extreme Values with Applications to Insurance, Finance, Hydrology and Other Fields. 3 ed. Berlin, DE, Springer Science+Busines Media. 516 p.

Vídeo de Aplicación en MATLAB

Índice de Vegetación Linealizado

Índice de diferencia de Vegetación Normalizado (NDVI) Linealizado

            Normalized Difference Vegetation Index (NDVI) Linearized

Por Eber Risco Sence

Desde su introducción, el NDVI ha sido muy utilizado en una amplia variedad de estudios incluidos los relativos a la vegetación mundial, la estimación de los cultivos y el crecimiento vegetativo, la cobertura del suelo, clima, etc.

Sin embargo, existe la objeción de que el NDVI es no lineal, presentando saturación en zonas de alta vegetación. Para solucionar este problema Ünsalan y Boyer (2011) proponen una metodología, la cual pretende solucionar el problema de la no linealidad (saturación) del NDVI. Esta metodología esta basado en un marco estadístico para el NDVI, para lo cual se utilizan los componentes principales basados en las bandas azul, verde, rojo e infrarrojo cercano, ellos derivan el NDVI a partir de los componentes principales usando la banda roja e infrarrojo cercano. Definen el ángulo ϕ correspondiente al valor de la pendiente, la cual representa al NDVI:

 Esta ecuación es normalizada de tal manera que los valores fluctúen entre +/-1, con lo cual queda definida de la siguiente manera:

Donde θ representa el grado de vegetación, en este caso representa al primer modelo propuesto por Ünsalan y Boyer (2011), basado en las bandas roja e infrarroja cercana.

Para reducir los efectos atmosféricos, muchos autores incluyen la banda azul en los índices de vegetación, basado en este enunciado proponen usando las bandas azul, roja e infrarrojo cercano proponen el siguiente modelo basado en componentes principales derivados de las bandas mencionadas.

Tendiendo en cuenta las bandas verde, roja e infrarrojo cercano ellos proponen el siguiente modelo:

Finalmente utilizando las bandas azul, verde, roja e infrarrojo cercano ellos proponen el siguiente modelo para determinar el grado de vegetación:

Con la finalidad de obtener los grados de vegetación en el valle de San Juan y Pisco, ubicados en el departamento de Ica, Perú, a partir de una imagen LANDSAT 5 TM tomada el 15 de abril de 2008, se procedió a desarrollar la metodología propuesta por Ünsalan y Boyer (2011).

Primero se obtuvieron las reflectividades para las bandas azul, verde, roja e infrarrojo cercano, las cuales son necesarias en la metodología, posteriormente se obtuvieron los componentes principales de acuerdo a las combinaciones mencionadas, los eigenvectores y eigenvalores se aprecian a continuación:

Componente	ρred	ρnir
CP1	0.70711	0.70711
CP2	-0.70711	0.70711

Tabla 1: eigenvectores obtenidos, los eigenvalores

son λ₁=1.2009, λ₂=0.7991

Componente	ρblue	ρred	ρnir
CP1	0.67865	0.66027	0.32168
CP2	0.16196	0.29267	-0.9424
CP3	-0.71638	0.69166	0.09168

Tabla 2: eigenvectores obtenidos, los eigenvalores

son λ₁=2.0823, λ₂=0.8830, λ₃=0.0347

Componente	ρgreen	ρred	ρnir
CP1	0.68018	0.6652	0.30799
CP2	0.16276	0.27262	-0.94825
CP3	-0.71474	0.69512	0.07716

Tabla 3: eigenvectores obtenidos, los eigenvalores

son λ₁=2.1021, λ₂=0.8903, λ₃=0.0076

Componente	ρblue	ρgreen	ρred	ρnir
CP1	0.56381	0.56802	0.55595	0.22448
CP2	0.07747	0.10086	0.20982	-0.96943
CP3	0.77479	-0.13729	-0.61129	-0.08468
CP4	0.27534	-0.80519	0.52271	0.05136

Tabla 4: eigenvectores obtenidos, los eigenvalores

son λ₁=3.0607, λ₂=0.8997, λ₃=0.0355, λ₄=0.0041

Los índices de vegetación lineal θ sobre la base de la actividad vegetal, seguido de tres nuevos índices de vegetación: θ₂ y θ₃ definidos en espacios 3D, y θ₄ en el espacio 4D para los valles San Juan y Pisco se aprecian a continuación.

Referencias

• Schowengerdt, R. 2007. Remote Sensing-Models and Methods for Image Processing. 3 ed. California, US, Academic Press. 558 p.
• Steven M. de Jong; Freek D. Van der Meer. 2004. Remote Sensing Image Analysis. California, US, Springer. 370 p.
• Schott, J. 2007. Remote Sensing: The Image Chain Approach. 2ed. New York, US. Oxford University Press. 701 p.
• Ünsalan, C.; Boyer, K. 2011. Multispectral Satellite Image Understanding. New York, US. Springer. 203 p.

Reflectividad y Corrección Atmosférica

Reflectividad Aparente y Corrección Atmosférica de imágenes LANDSAT-5 TM

Apparent Reflectivity and Atmospheric Correction of LANDSAT-5 TM images

Por Eber Risco Sence

La reflectividad representa la relación entre la energía reflejada y la incidente. Varia por lo tanto, entre 0 (superficie perfectamente absorbente) y 1 (superficie perfectamente reflectora). La reflectividad depende de sus características físicas y químicas, así como de las condiciones de observación. Además  no es constante, sino que se modifica en las distintas bandas del espectro, por lo que debemos añadirle el calificativo de espectral, acotando su medida a un determinado rango de longitudes de onda (Chuvieco 2008).

La radiancia espectral detectada por el sensor a partir de los niveles digitales de una imagen se expresa de la siguiente manera:

Donde L_sen,k, corresponde a la radiancia espectral recibida por el sensor en la banda k( en Wm^-2sr^-1mm^-1); a_0,k y a_1,k son los coeficientes de calibración para esa banda, y ND_k, corresponde al nivel digital de la imagen en la misma banda.

A manera de ejemplo se muestra la radiancia obtenida para la imagen LANDSAT-5 TM del valle de San Juan, del departamento de Ica, Perú, tomada el 30 de marzo de 2008.

La radiancia que llega al sensor (asumiendo que la superficie terrestre tiene un comportamiento lambertiano) es una función de la irradiancia solar, la reflectividad de la cubierta y las condiciones de adquisición.

  

Donde E_0,k es la irradiancia en el techo de la atmosfera, la cual se obtiene a partir de la tabla1; ρ_k^x es la reflectividad aparente de la cubierta en la banda k; θ_i es el ángulo cenital del flujo incidente, formado por la vertical y los rayos solares que es el complementario del ángulo de elevación solar y D es el factor corrector de la distancia Tierra-Sol, el cual se expresa de la siguiente manera:

Donde J indica el número de día del año y el seno se asume en radianes.

LANDSAT-5 TM
Banda	E0,k (Wm-2µm-1)	a0,k	a1,k1	a1,k2
1	1957	-1.52	0.602	0.763
2	1829	-2.84	1.175	1.443
3	1557	-1.17	0.806	1.039
4	1047	-1.51	0.815	0.873
5	219.3	-0.37	0.108	0.120
7	74.52	-0.15	0.057	0.065

Tabla1: Parámetros para la conversión a reflectividades (1) anterior al 5 de mayo de 2003 (2) posterior al 5 de mayo de 2003. FUENTE. Price (1987), Chander et al (2004), citados por Chuvieco (2008).

            Por lo tanto la reflectividad aparente quedaría expresada de la siguiente manera:

A manera de ejemplo se muestra la reflectividad aparente obtenida para la imagen LANDSAT-5 TM del valle de San Juan, del departamento de Ica, Perú, tomada el 30 de marzo del 2008.

Cuando la radiación electromagnética atraviesa la capa de atmósfera, sufre una serie de alteraciones, debidas al comportamiento de ésta como medio absorbente y dispersante ( Schott 2007). La propuesta de Chavez (1988; 1996) basada en el objeto oscuro (dark object), el cual consiste en asumir que las áreas cubiertas con materiales de fuerte absortividad deberían presentar una radiancia espectral muy próxima a cero. En la práctica, el histograma de los ND de la imagen siempre presenta un mínimo superior a ese valor, que se atribuye al efecto de dispersión atmosférica. La formula propuesta se representa de la siguiente manera:

  

Donde La,k se estima a partir del valor mínimo o de un objeto de reflectancia nula (L_a,k=a_0,k+a_1,kND_min), además τ_k,i =0.70 (TM1), 0.78 (TM2), 0.85 (TM3), 0.91 (TM4) y 1 par las TM5 y TM7. Gilabert et al (1994) sugiere 0.73, 0.79, 0.85, 0.91, 0.95, 0.97 respectivamente.

A manera de ejemplo se muestra la reflectividad con corrección atmosférica obtenida para la imagen LANDSAT-5 TM del valle de San Juan, del departamento de Ica, Perú, tomada el 30 de marzo del 2008.

Referencias

• Chavez, P.S.  1988. "An Improved Dark-Object Subtraction Technique for Atmospheric Scattering Correction of Multispectral Data", Remote Sensing of Environment, 24: 259-479.
• Chavez, P.S. 1996."Image-Based Atmospheric Corrections-Revisited and Improved", Photogrammetric Engineering and Remote Sensing, 62: 1025-1036.
• Chuvieco, E. 2008. Teledetección Ambiental. 2 ed. Barcelona, ES, Ariel. 592 p.
• Gilabert, M. A., Conese, C., & Maselli, F. 1994. An atmospheric correction method for the automatic retrieval of surface reflectance from TM images. International Journal of Remote Sensing, 15: 2065-2086.
• Schott, J. 2007. Remote Sensing: The Image Chain Approach. 2ed. New York, US. Oxford University Press. 701 p.