Calidad de los Datos Espaciales

1
Calidad de los Datos Espaciales
Pepijn van Oort
2
Resumen previo

• Introducción La Importancia de la QDE
• Definiciones
• Acerca de la QDE
• Futuras Investigaciones y Conclusiones

Abreviaturas de estas transparencias QDE Calidad
de los Datos Espaciales IQD Información sobre la
Calidad de los Datos Espaciales IDE
Infraestructura(s) de Datos Espaciales (o
Geo-Espaciales)
Introducción Definiciones Acerca de la
QDE Futuras Investigaciones.
3
Desarrollos en el uso de GeoDatos

• Hay más información
• Es más fácil de acceder a la información
• Hay más usuarios
• Hay más aplicaciones
• Es mucho más fácil combinar datasets y realizar
  toda clase de manipulaciones SIG con ellos
• Una larga distancia entre el usuario y el
  productor

Introducción Definiciones Acerca de la
QDE Futuras Investigaciones.
4
Como consecuencia

• La posibilidad de uso erróneo ha crecido
• Los usuarios quieren saber si un conjunto de
  datos vale pasa lo que quiere
• Los usuarios quieren saber los efectos de la QDE
• Debido a que quieren hacer un buen trabajo
• Porque les pueden exigir responsabilidades
  (litigios)
• Hay una necesidad de métodos formales para el
  almacenamiento, tratamiento y visualización de la
  IQD (Información sobre la Calidad de los Datos
  Espaciales)

Introduction Definitions Dealing with SDQ Future
Research
5
Desarrollos actuales

• Crece el interés en el conocimiento de QDE
• Los estándares se desarrollan para facilitar el
  almacenamiento y el intercambio de IQDE SDTS,
  ICA, CEN/TC278, ISO/TC211
• El software se desarrolla para almacenar los
  metadatos incluyendo la IQDE.
• Las herramientas para el manejo y la
  visualización de QDE están desarrolladas pero
  apenas implementadas en el SIG.

Introduction Definitions Dealing with SDQ Future
Research
6
Ejemplos de importancia de la QDE

• Un granjero recibe subsidios proporcionales a su
  superficie de tierra. El dice que su tierra es
  mayor (? más subsidios!) que lo que dice el
  gobierno.
• ?La diferencia puede ser debida a (1) errores
  del granjero, o (2) errores en los geodatos del
  gobierno

El polígono 1000 tiene 891,858 m2
No! Son 908,117 m2
Introduction Definitions Dealing with SDQ Future
Research
7
Ejemplos de importancia de la QDE

• Un país desea bombardear una embajada utilizando
  un misil con GPS, que vuela automáticamente a la
  embajada con información procedente de un plano
  de la ciudad.
• ?peroEstá todavía ahi la embajada o la han
  cambiado? (está el mapa actualizado?)
• ?Cual es la precisión posicional del mapa?

Introduction Definitions Dealing with SDQ Future
Research
8
Ejemplos de importancia de la QDE

• El ministro de transportes quiere saber cuanto
  dinero necesita para el mantenimiento de una
  carretera. La longitud de la carretera en el
  1/10.000 parece ser superior a la 1/25.000
• ?Qué mapa debe el ministro utilizar?

Mirando un solo mapa no puede saber
nada Comparando ambos mapas no hay duda de que el
110.000 es mejor
Introduction Definitions Dealing with SDQ Future
Research
9
Perspectivas sobre calidad de datos

• Usuario
• precio
• accesibilidad
• Se ajustan estos datos a mi necesidad?
• Productor
• Correspondencia con el suelo nominal
• Encuentra especificaciones
• Cómo documentar la QDE de una manera comprensible
  para todos los usuarios?

Suelo nominal una representación simplificada
del (complejo) mundo real, de acuerdo con los
datos que se han recogido.
Introduction Definitions Dealing with SDQ Future
Research
10
Definiciones (1) 7 elementos de calidad de datos
1. Linaje 5. Exactitud Temporal
2. Consistencia 6. Exactitud Posicional
3. Completitud 7. Exactitud Temática
4. Exactitud Semántica
Introduction Definitions (1) Dealing with
SDQ Future Research
11
Ejemplos de QDE Pobres

• Consistencia lógica
• Entre el 1 (adición de nuevos datos) y el 5
  (datos del contrato de pre-mantenimiento)
• Completitud
• Algunas características (features) pueden haber
  sido eliminadas
• Detalles de direcciones de calles parcialmente
  incompletas
• ?Bien Ayuntamiento de Heelsum Nombres de
  calles incompletos para el 1 de toda la
  longitud de calles, 5 del todas las calles.
• Exactitud Temporal
• Fotografías aéreas 1965-1992
• ?Bien Grupo de Fotos 1 adquisisción año 1965
• Grupo de Fotos 2 adquisisción año 1980

Introduction Definitions (1) Dealing with
SDQ Future Research
12
Ejemplos de QDE Pobres

• Exactitud Posicional
• Variable, /- 100m, 100m a 1000m
• Pueden estar presentes algunas discrepancias
  cartográficas
• ? Bien RMSE 100 m.
• ? Bien error posicional lt 1 m con una
  probabilidad del 95
• Exactitud de Atributos
• Sin importancia (para un mapa de vegetación)
• Gran precisión de atributos
• ? Bien Pr(actualidad BOSQUE clasificado
  como PASTO) 0.01
• ? Bien Porcentaje correctamente clasificado
  85.3

Introduction Definitions (1) Dealing with
SDQ Future Research
13
Ejemplos de QDE Pobres

• Exactitud Semántica
• Pasto es todo área cubierta de pasto

• Qué es incorrecto ahí?
• Está también contado el pasto de los parques en
  áreas urbanas?
• Qué ocurre con el pasto en los terraples? O
  están éstos clasificados como terraplenes?
• Que ocurre si hay una combinación de pastos y
  árboles?

Los requisitos respecto al detalle en la
definición de clases dependen del uso.
Introduction Definitions (1) Dealing with
SDQ Future Research
14
Definiciones (2) QDE en la 3ª dimensión

1. Dimensión Temporal
2. Dimension Espacial
3. Dimensión Temática

Ejemplo Dimensión Temporal Las cosechas
cultivadas en terrenos de granjas cambian
anualmente, por lo tanto, la calidad de las
especificaciones de este conjunto de datos se
aplican sólo en el año en el que fue adquirido el
dato
Ejemplo Dimensión espacial La precisión
posicional es de 60dm en áreas rurales y de 30 dm
en áreas urbanas
Ejemplo Dimensión Temática la precisión
posicional es 10 dm para carreteras, 100 dm
límites entre campos
Introduction Definitions (2) Dealing with
SDQ Future Research
15
Definiciones (3) accuracy, precision, bias
Exactitud (accuracy) desviación del verdadero
valor Precision nivel de detalle Bias
Desviación sistemática
16
Ejercicio bias

• Todos los puntos están biased
• Debido al bias, y1 is inexacto todos los puntos
  se desvían de su verdadera posición
• Después de quitar el bias, y1 is preciso

P. Están estimadas correctamente las posiciones
de los puntos?
R. no
R. si
P. Está correctamente estimada el área del
polígono?
P. En qué otra operación SIG hay un problema
bias ?
R. recubrimiento
17
Ejercicio imprecision

• y2 is unbiased
• y2 is inaccurate
• y2 is imprecise

P. Están las posiciones de los puntos estimadas
correctamente?
R. No, en promedio si
Introduction Definitions (3) Dealing with
SDQ Future Research
P. Está estimada correctamente el área del
polígono?
R. No, en promedio si
18
Prospección de Futuro

• Modelos de error para cuantificar las
  implicaciones de QDE.
• Mejores formas de comunicación del error
• Prevenir mal uso de los datos espaciales
• Aprender a vivir con los errores.

Introduction Definitions Dealing with SDQ Future
Research
19
Modelos de error Perturbación de los límites de
polígonos
La posición de cada punto de cada polígono está
perturbada, de acuerdo con positional accuracy de
los puntos.
Introduction Definitions Dealing with SDQ Future
Research
20
Modelos de error Perturbing polygon boundaries
De acuerdo con el mapa, el polígono tiene una
superficie de 893,703. De acuerdo a otra fuente,
el polígono tiene un área de 908,117. Q. Puede
deberse esa diferencia de superficies a errores
posicionales en el mapa? A. Si, es posible, pero
la otra fuente es muy probablemente incorrecta.
Introduction Definitions Dealing with SDQ Future
Research
21
Modelos de error Una matriz de error
De las 24 celdas clasificadas como BOSQUES, 20
eran de hecho BOSQUES, y 4 eran realmente
ROBLEDALES. Pr (actual Robledales calsificado
como Bosques) 4/24
22
Modelos de Error perturbaciones en las clases
de cubiertas del suelo
Crear 100 Mapas Reclasificados, basados en
probabilidades de la matriz de error Poner en
marcha un modelo con cada uno de estos mapas ?
Incertidumbre en el modelo de salida debido a la
QDE.
Introduction Definitions Dealing with SDQ Future
Research
23
Utilidad uso de modelos de error
24
Modelado de errores que hace que sea tan duro?

• A menudo, el gran número de datasets combinados
  hace difícil modelar el error de progación.
• Están correlados los errores entre los datasets?
• ? Esto no se conoce. La calidad se describe para
  cada dataset por separado.
• La IQDE no está disponible para todos los
  datasets o está pobremente descrita.
• El Software no proporciona herramientas para
  implementar modelos de errores, por lo que tienes
  que programarlo tu mismo. ? Sabes como?
• ? Piensas que merece la pena este gasto de
  tiempo?

Introduction Definitions Dealing with SDQ Future
Research
25
Alternativas para valorar la utilidad

• Preguntar al productor de datos si el dataset
  sirve para el trabajo específico que vamos a
  hacer.
• Prueba y error
• Mirar la calidad que se requiere para
  aplicaciones similares
• Utilizar el mejor dato disponible
• Ser honesto en el hecho de que no hay datasets
  perfectos. Comenzar pensando en qué hacer cuando
  algo vaya mal..

Introduction Definitions Dealing with SDQ Future
Research
26
Vivir con el error mantener la credibilidad

• Ejemplo
• Un gobierno utiliza un mapa para calcular las
  compensaciones a los granjeros debido a una
  inundación..
• Se compensa a los granjeros.
• Debido a que el mapa no es perfecto, algunos
  granjeros que deberían haber sido compensados no
  lo han sido.
• De desarrolla un procedimiento que permita a esos
  granjeros probar que han sufrido daños y poder
  cobrar la subvención
• Todos los granjeros son informados de este
  procedimiento..

Introduction Definitions Dealing with SDQ Future
Research
27
Comunicación del error metadatos en
clearinghouses (1)

• En este caso el productor informa de los usos
  sobre los que puede utilizarse este dataset

Introduction Definitions Dealing with SDQ Future
Research
28
Comunicación del error metadatos en
clearinghouses (1)
Introduction Definitions Dealing with SDQ Future
Research
29
Software para la gestión de la QDESoftware
para detectar errores.
Introduction Definitions Dealing with SDQ Future
Research
30
Software para la gestión de la QDE
Introduction Definitions Dealing with SDQ Future
Research
31
Software para prevenir mal uso
Introduction Definitions Dealing with SDQ Future
Research
32
Investigación Futura (1)

• Estándares para documentar la calidad adoptada
  para los datos
• Continuación del trabajo sobre modelamiento del
  error y comunicación. Continuation of the work on
  error modeling and communication
• Desarrollo de software
• Para facilitar el modelado del error y el
  análisis del riesgo
• Para mejorar la comunicación y los avisos
• Promocionar el análisis de riesgo para determinar
  la utilidad

Introduction Definitions Dealing with SDQ Future
Research
33
Futuras investigaciones (2)

• Mantener la integridad de la IQDE en las
  Infraestructuras de GeoDatos

• Mantener la integridad de la IQDE es un tema
  técnico y de gestión.
• Técnicamente Cómo se hace? Puede automatizarse?
• Gestión Quien es el responsable?

Introduction Definitions Dealing with SDQ Future
Research
34
Conclusiones

• La calidad de los datos es demasiado importante
  para ignorarla
• Los efectos de la calidad de los datos pueden ser
  cuantificados, pero se necesita mejorar la teoría
  y el software.
• Los métodos para recolectar datos se mejoran día
  a día y como resultado, la calidad de los datos
  mejora.
• Pero los errores no serán nunca eliminados del
  todo y tendremos que acostumbranos a vivir con
  cierta incertidumbre en nuestros datos.

Introduction Definitions Dealing with SDQ Future
Research
35
Gracias por su atenciónPreguntas?
36
Algunos websites

• Estándares
• http//www.isotc211.org/scope.htm19114
• http//mcmcweb.er.usgs.gov/sdts/SDTS_standard_nov9
  7/part1toc.html
• Modelamiento del Error
• http//www.clarklabs.org/IdrisiSoftware.asp?cat2
• http//www.esri.com/news/releases/03_2qtr/reviewer
  .html
• Metadatos
• http//geodesk.girs.wau.nl/geokey/select.htm (in
  dutch)
• 1250,000 scale Arkansas State Soil Geographic
  (STATSGO) http//geoserver2.wr.usgs.gov/servlet/F
  GDCServlet/retrieve?pn1elFdbcurrentrp3mr1
  accurrentcid25