Updates:

¿Quieres participar en el foro?
Envía un correo a info@observado.es indicando tu nombre de usuario de Observation.org y nosotros te daremos de alta.

Cómo utilizar los datos de Observation.org para análisis científicos

Iniciado por Coordinación Observation España, Diciembre 21, 2020, 11:03:14 AM

Tema anterior - Siguiente tema

Coordinación Observation España

¿Cómo descargar los datos?
¿Cómo trabajar con los datos de observaciones que podemos obtener en bruto de la web Observation.org (Observado en España), para procesarlos después con R utilizando una base de datos como intermediario? En colaboración con la Universidad de Burgos hemos realizado un cursillo sobre el manejo de datos de Ciencia Ciudadana, que podéis ver en nuestro canal de YouTube: https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M

En este pequeño artículo os vamos a explicar una primera parte del curso que tenéis en vídeo, en el que veremos la estructura de la información que nos descargamos de Observation.org.

En este artículo vamos a ver el formato del sitio antiguo de Observation.org o, lo que es lo mismo, en spain.observation.org y cualquiera de los portales regionales.

Si lo que queremos es trabajar con nuestras propias observaciones, podemos ir al menú "Mi observation.org > Exportar/backup" . Seleccionamos los filtros que queramos aplicar para la descarga, como el grupo de especies, nivel de rareza, o un rango de fechas.

Es importante que marquemos la opción "Archivo CSV", que nos dará el máximo de información.

Formulario de descarga de observaciones propias





Una vez pulsemos el botón "Actualizar" se mostrará justo debajo del botón el enlace que deberemos seguir para descargar la información.



Si lo que queremos es obtener observaciones de todos los usuarios de Observation.org enviaremos un correo a info@observation.org con el detalle de la información que queremos descargar, y nos enviarán el paquete de datos directamente.

¿Qué formato tienen los datos?

Como resultado de ambas operaciones obtendremos un CSV muy similar, con todos los detalles de cada una de las observaciones.

Estos ficheros CSV descargados están en formato UTF-16, idioma español, y con los valores separados por tabuladores. Se pueden abrir de manera directa con LibreOffice o MS Excel, aunque es recomendable usar LibreOffice porque maneja mejor los ficheros CSV que MS Excel.

En la tabla siguiente podemos consultar las columnas presentes en el CSV que se descarga al consultar las observaciones personales desde el portal Observation.org, y qué información se incluye en cada una de ellas:
NombreValores
Nivel  "+" para observación principal
"-" para observación secundaria
Id  Identificador único de la observación (principal)
Nombre científico  Nombre científico de la especie observada
Nombre    Nombre común en el idioma seleccionado
Euring  Código EURING de la especie -si tiene-
Species id  Identificador único de la especie
Familia  Familia taxonómica
Grupo de especies   Grupo de especies al que pertenece la observación
Status de la especie  Status de la especie en el área observada (nativa o exótica)
Fecha  Fecha de la observación
Hora  Hora de la observación
Fecha de envío  Fecha de envío de la observación
timestamp  Fecha y hora de envío de la observación
Tipo de observación  Orígen de la observación: ObsMapp, iObs, Sitio Web, copiada de otro observador, importada de eBird, etc.
Registros  Número de individuos observados
sexo  Valor seleccionado
Método de conteo  Valor seleccionado
Aspecto  Valor seleccionado
Actividad  Valor seleccionado
Coordenada decimal X (longitud) en datum WGS84, con precisión de 5 decimales
Coordenada decimal Y (latitud) en datum WGS84, con precisión de 5 decimales
lat/Lat Latitud en decimal con datum WGS84, a máxima precisión
lng/Lon   Longitud en decimal con datum WGS84, a máxima precisión
Biotopo  Siempre en "onbekend", ignorar
Área  Nombre del polígono más pequeño donde se encuentra la observación
Término  Provincia donde se encuentra la observación
País  País donde se encuentra la observación
correctamente identificado   ATENCIÓN: A percepción del observador.
Valores:
"Y" si el observador está seguro de la observación
"N" si la marcó como "Con dudas"
Individuo escapado  "N" si es una observación un individuo silvestre
"Y" si es una observación de un individuo escapado de una colección
link  URL a la observación
precisie  Precisión en metros de la ubicación
loc_methode  Método de ubicación
status  Estado de validación de la observación.
Valores:
"O" -> Observación sin evaluar por un experto
"A" -> Observación aprobada automáticamente en base al conocimiento previo
"J"-> Observación aprobada manualmente por un experto
"N" -> Observación marcada como incorrecta por un experto
"P" -> Observación aprobada por un experto, basada en conocimiento previo
"U" -> Observación con dudas y que no se puede validar apropiadamente
"I" -> Observación bajo estudio
Fotos  "1" si adjunta fotos. "0" en caso contrario
Nº de muestra  Valor introducido
Planta nutricia  Especie secundaria de la observación
Substrato  Valor introducido
Método  Valor introducido
Observaciones  Comentarios adicionales del observador
Transectos/Listas  Identificador de lista/muestreo asociada

Las columnas cambian un poco en caso de que hayamos solicitado información general de otros usuarios. En este caso se agregan las siguientes columnas:

NombreValores
HIDDEN_UNTILFecha de embargo de la observación
25830-XCoordenada E en sistema EPSG:25830
25830-YCoordenada N en sistema EPSG:25830
UsuarioNombre de usuario del observador
AdministradoresNombre de usuario del administrador que realiza la validación

¿Cómo analizo los datos?
   
Podríamos empezar a trabajar con estos dicheros directamente en R, pero en esta serie de artículos vamos a explicar cómo manejar ficheros grandes, de varios cientos de megas, de manera óptima. En vez de introducir directamente los ficheros en R o filtrarlos con AWK, como hacen otras bibliotecas de manejo de datos, vamos a avanzar un paso más utilizando un motor de base de datos real, tal como se explica en el curso de análisis de Ciencia Ciudadana de Observation.orghttps://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M
Coordinación de Observation.org España