15 .AccuracyAssessment (1).pdf

Sistemas de información geográfica Nicola Clerici, PhD Biology Program Faculty of Natural Sciences and Mathematics Universidad del Rosario 1 Sistemas de información geográfica ¿Como podemos evaluar la exactitud de una clasificación? 2 Sistemas de información geográfica ESTIMACION DE LA ACCURA...

Sistemas de información geográfica Nicola Clerici, PhD Biology Program Faculty of Natural Sciences and Mathematics Universidad del Rosario 1 Sistemas de información geográfica ¿Como podemos evaluar la exactitud de una clasificación? 2 Sistemas de información geográfica ESTIMACION DE LA ACCURACY: procedimiento de evaluación cuantitativa para definir cuanto es precisa (exacta) nuestra clasificación • Los errores de clasificación se producen cuando se asigna a un píxel la pertenencia a una clase errónea. • Existen 2 tipos de errores: 1. Los errores de omisión se producen cuando un pixel se deja fuera de la clase a la que tendría que pertenecer; p.ej. un pixel de bosque es asignado a otra clase. (Falsos negativos) 1. los errores de comisión se producen cuando un pixel se incluye de forma incorrecta a una clase a la que no tendría que pertenecer. p.ej. el pixel no es bosque y es asignado a bosque. (Falsos positivos) 3 Sistemas de información geográfica La evaluación de la precisión (exactitud) de un mapa temático se realiza comparando nuestra clasificación con información de referencia basada en una fuente independiente (= nuestra “verdad”) Ejemplos de fuentes de referencia: 1. un mapa de referencia que considera las mismas clases 2. información de campo (p.ej. puntos de validación con GPS) 3. información de imágenes a muy alta resolución que interpretamos (puntos visuales de validación- VISVAL, p.ej. desde Google Earth) 4 Sistemas de información geográfica Si utilizamos un mapa de referencia (A) este tendrá que ser perfectamente co-registrado con nuestro mapa clasificado (B): misma resolución espacial, alineado, mismo sistema A de coordenadas. B Las clases utilizadas en el mapa tienen que ser congruentes con las que utilizamos en nuestra clasificación (hay que crear una correspondencia) ???? 5 Sistemas de información geográfica A tener en cuenta: • Los puntos de validación tendrían que ser distribuidos homogéneamente en número y en el espacio entre las N clases del raster clasificado • Si las clases tienen mucha diferencia en extensión (número de píxeles), también los puntos se redistribuirán cuantitativamente de consecuencia (más puntos de validación en clases con más pixeles) • NO tienen que superponerse a las áreas de entrenamiento usadas para el clasificador (ROIs) 6 Sistemas de información geográfica ESTIMACION DE LA ACCURACY La exactitud de un mapa temático se expresa generalmente como un porcentaje de puntos correctos (%). Existen varios parámetros para cuantificar y reportar la accuracy. Los principales son 3: OVERALL ACCURACY (OA) = (t/N)*100 t = puntos de validación correctos; N = total de puntos de validación Estimación de la bondad general de nuestra clasificación (de toda la capa temática) ACCURACIES DE LAS CLASES -USER ACCURACY (UA), mide los errores de comisión (falsos positivos) es decir los pixeles que son de una clase Y pero los clasifico como clase X -PRODUCER ACCURACY (PA), mide los errores de omisión (falsos negativos) es decir los pixeles que pertenecen verdaderamente a la clase X pero no son clasificados como X 7 Sistemas de información geográfica ESTIMACION DE LA ACCURACY Para calcular estos parámetros se construye la MATRIZ DE CONFUSIÓN Para hacerlo necesito siempre unos puntos de validación. PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC … B XBA XBB … … C … … XCC … D … … … XDD Ej:. 4 clases en mi clasificación (A, B, C, D) Y se llena razonando así: “Cuantos puntos de validación clasificados como A (p.ej. bosque) eran realmente clase A? Cuantos clasificados como A eran en realidad B? etc… P.ej.: XAA =21 (sobre un total de N=50 puntos de validación de la clase A) 8 Sistemas de información geográfica ESTIMACION DE LA ACCURACY PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC … B XBA XBB … … C … … XCC … D … … … XDD El total de puntos N usados para la validación es la suma de las celdas contenida en el rectángulo morado 9 Sistemas de información geográfica ESTIMACION DE LA ACCURACY PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC … B XBA XBB … … C … … XCC … D … … … XDD OVERALL ACCURACY (OA) = (t/N)*100 (%) t = suma de los puntos de validación correctos en toda la evaluación = (XAA+XBB+…); N = suma del total de todos los puntos de validación (rectángulo) LIMITACIONES: No revela si el error se distribuye de manera uniforme entre las clases, i.e. si alguna clase está muy mal clasificada y otra muy bien clasificada 10 Sistemas de información geográfica USER ACCURACY PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC XAD B XBA XBB … … C XCA … XCC … D XDA … … XDD USER ACCURACY (UA) = (100 – ERROR DE COMISIÓN) DE UNA CLASE (en %) ERROR DE COMISIÓN DE UNA CLASE (falsos positivos) = (Suma de línea de la clase menos los verdaderos positivos de línea) / (Suma de línea de de la clase)*100 (%) Error de Comisión de la clase A: EC(A) = ((XAB + XAC +XAD )/ (XAA + XAB + XAC +XAD))*100 11 Sistemas de información geográfica ESTIMACION DE LA ACCURACY PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC XAD B XBA XBB … … C XCA … XCC … D XDA … … XDD PRODUCER ACCURACY (PA) = (100 – ERROR DE OMISIÓN) DE UNA CLASE (en %) ERROR DE OMISIÓN DE UNA CLASE (falsos negativos) = (Suma de columna de la clase menos los verdaderos positivos de columna) / (Suma de columna de la clase)*100 (%) Error de Omisión de la clase A: EO(A) = ((XBA + XCA +XDA )/ (XAA + XBA + XCA +XDA ))*100 12 Sistemas de información geográfica ESTIMACION DE LA ACCURACY PUNTOS DE VALIDACIÓN PUNTOS CLASIFICADOS A B C D A XAA XAB XAC XAD B XBA XBB … … C XCA … XCC … D XDA … … XDD IMPORTANTE PARA EL CALCULO: - NO intercambien las columnas de Puntos de validación (REFERENCIA) con la de Puntos clasificados! - Acuérdense que las accuracies se expresan en %, así que considérenlo cuando reportan los cálculos! 13 Sistemas de información geográfica Métodos de muestreo = “Sampling Methods” 1) Random (al azar) 3) Systematic (sistemático) 2) Stratified Random (al azar estratificado) (N mínimo por cada categoría) 4) Systematic Non-Aligned (sistemático no alineado) Malla regular con puntos no alineados 14 Sistemas de información geográfica Punto de muestreo 1) Como regla general debe poder tener alrededor al menos 3x3 pixeles de la misma cubertura del suelo 2) Precisión de posicionamiento debe ser < tamaño del pixel p.ej. considere la precisión de su GPS! 15 Sistemas de información geográfica Punto de muestreo Cualquier clasificación de accuracy tiene un intervalo de confianza (una manera de expresar el error asociado a su estimación) Cuando el número de puntos de validación M>=30, el número de puntos de muestreo (de validación) necesario para estimar una probabilidad de accuracy deseada p con una tolerancia de error deseado ±d, a un intervalo de confianza del 95%, es: 𝑀= 1.96 2 ∗𝑝∗ 1−𝑝 𝛿2 M= número de puntos de muestreo necesarios Por ejemplo, si deseo poder llegar a un cálculo correcto de un accuracy deseada del 75% ± 6% entonces M=200 (al menos) En general nunca se usa n<30 puntos de validación por clase! (hay quien dice 50) 16 Sistemas de información geográfica CLASSIFICATION ACCURACY ASSESSMENT (Labo virtual) 17 Sistemas de información geográfica VALIDACIÓN • Para este ejercicio necesitamos una capa clasificada, de la cual queremos evaluar la bondad de su clasificación. • Pueden usar la que clasificaron con Supervised classification en la clase de la semana pasada (que tiene cierto grado de bondad), o la que se proporciona en esta clase (Clasificado_ISO.tif), la cual está mal clasificada (…pero para este ejercicio no importa). • El objetivo de aprendizaje es aprender a hacer una validación cuantitativa de la bondad de mapeo, la cual le sirve para el futuro proyecto de SIG(!) • …cargar la capa clasificada (y su simbología .LYR) Y el fichero multi-banda desde el cual se construyó… 18 Sistemas de información geográfica CREACION DE PUNTOS DE VALIDACION • En ArcMap vers.>10.4: Create Accuracy Assessment Points (“Crear puntos de evaluación de precisión”) Es necesario un numero suficientemente bueno de puntos… pero sin exagerar (en este ejercicio simplificado podemos poner 15 por clase). Vamos a considerar un Stratified random design. 19 Sistemas de información geográfica CREACION DE PUNTOS DE VALIDACION • En la Tabla de Atributos de los puntos añadir un campo “VALIDACION” (integer) a nuestros puntos. Pueden borrar el campo “GrndTruth”. • Añadir un campo “NOMBRE” (text) a nuestros puntos • El campo “Classified” corresponde al valor debajo del punto de validación en el raster clasificado (el valor del pixel) = “value”. 20 Sistemas de información geográfica CREACION DE PUNTOS DE VALIDACION • Analiza punto por punto (puedes seleccionarlo para facilitarte) usando un color composite o mapas base • En el campo “VALIDACION” insertar el valor correspondiente a la clase que has identificado visualmente (NO la del clasificado) • Para insertar el valor: tabla de atributos abierta y usar menú Editing (Start Edit) • Cuando has acabado los puntos: llenar el campo “NOMBRE” con el nombre de la correspondiente clase (usar Select by attributes (por cada clase) + Field Calculator= <nombre clase>). Luego SAVE EDITS, CLOSE. 21 Sistemas de información geográfica CREACIÓN DE LA MATRIZ DE CONFUSION • Usar comando Frequency. Input: los últimos puntos generados; Frequency fields = VALIDACION y CLASSIFIED • Usar Pivot Table (“Tabla pivote”) INPUT FIELD = filas = CLASSIFIED PIVOT FIELD = columnas = VALIDACION VALUE FIELD = FREQUENCY Resultado Resultado Esta es nuestra matriz de confusión • Añadir un campo (add field) con el NOMBRE de las clases 22 Sistemas de información geográfica CREACION DE LA MATRIZ DE CONFUSION • Exportar la tabla en .dbf e importarla en Excel →calcular los valores de las accuracies (OA, PA, UA). Renombrar esta fila poniendo el nombre de las clases correspondientes: Validacion1=1=FOREST Validacion2=2=…etc Video para casa: https://www.youtube.com/watch?v=9dGjuEQie7Y 23 Sistemas de información geográfica MATRIZ DE CONFUSION NOTAS: - Se pueden extraer los valores de los puntos de validación automáticamente de un mapa de referencia (las dos clasificaciones tienen que ser perfectamente coregistradas) - pueden usar también Compute Confusion Matrix https://desktop.arcgis.com/es/arcmap/latest/tools/spatial-analysttoolbox/compute-confusion-matrix.htm 24