Updates:

¿Quieres participar en el foro?
Envía un correo a info@observado.es indicando tu nombre de usuario de Observation.org y nosotros te daremos de alta.

Cómo utilizar los datos de Observation.org para análisis científicos

Iniciado por Coordinación Observation España, Diciembre 21, 2020, 11:03:14 AM

Tema anterior - Siguiente tema

Coordinación Observation España

¿Cómo descargar los datos?
¿Cómo trabajar con los datos de observaciones que podemos obtener en bruto de la web Observation.org (Observation España), para procesarlos después con R utilizando una base de datos como intermediario? En colaboración con la Universidad de Burgos hemos realizado un cursillo sobre el manejo de datos de Ciencia Ciudadana, que podéis ver en nuestro canal de YouTube: https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M

En este pequeño artículo os vamos a explicar una primera parte del curso que tenéis en vídeo, en el que veremos la estructura de la información que nos descargamos de Observation.org.

En este artículo vamos a ver el formato del sitio antiguo de Observation.org o, lo que es lo mismo, en spain.observation.org y cualquiera de los portales regionales.

Si lo que queremos es trabajar con nuestras propias observaciones, podemos ir al menú "Mi observation.org > Exportar/backup" . Seleccionamos los filtros que queramos aplicar para la descarga, como el grupo de especies, nivel de rareza, o un rango de fechas.

Es importante que marquemos la opción "Archivo CSV", que nos dará el máximo de información.

Formulario de descarga de observaciones propias





Una vez pulsemos el botón "Actualizar" se mostrará justo debajo del botón el enlace que deberemos seguir para descargar la información.



Si lo que queremos es obtener observaciones de todos los usuarios de Observation.org enviaremos un correo a info@observation.org con el detalle de la información que queremos descargar, y nos enviarán el paquete de datos directamente.

¿Qué formato tienen los datos?

Como resultado de ambas operaciones obtendremos un CSV muy similar, con todos los detalles de cada una de las observaciones.

Estos ficheros CSV descargados están en formato UTF-16, idioma español, y con los valores separados por tabuladores. Se pueden abrir de manera directa con LibreOffice o MS Excel, aunque es recomendable usar LibreOffice porque maneja mejor los ficheros CSV que MS Excel.

En la tabla siguiente podemos consultar las columnas presentes en el CSV que se descarga al consultar las observaciones personales desde el portal Observation.org, y qué información se incluye en cada una de ellas:
NombreValores
Id  Identificador único de la observación (principal)
scientific name  Nombre científico de la especie observada
species name    Nombre común en el idioma seleccionado
family  Familia taxonómica
species type  Tipo de taxón: especie, subespecie, forma, multiespecie, etc.
species group   Grupo de especies al que pertenece el taxón observado
date  Fecha de la observación
timeHora de la observación
created    Fecha de envío de la observación
modified Fecha de última modificación de la observación
source  Orígen de la observación: ObsMapp, iObs, Sitio Web, copiada de otro observador, importada de eBird, etc.
number  Número de individuos observados
sexo  Valor seleccionado.
"U" -> Sin especificar
"F" -> Hembra
"M" -> Macho
counting method  Valor seleccionado
life stage  Estadío vital/Apariencia seleccionada
activityValor seleccionado
lonCoordenada decimal X (longitud) en datum WGS84, con precisión de 5 decimales
lat  Coordenada decimal Y (latitud) en datum WGS84, con precisión de 5 decimales
location  Nombre del polígono más pequeño existente donde se encuentra la observación, a fecha de creación de la observación
country divisionProvincia donde se encuentra la observación
country  País donde se encuentra la observación
is certain  ATENCIÓN: A percepción del observador, si tiene dudas en la identificación o no
Valores:
"true" si el observador está seguro de la observación
"false" si la marcó como "Con dudas"
is escape  "false" si es una observación un individuo silvestre
"true" si es una observación de un individuo cuya presencia no es natural, sino que hay intervención humana
link  URL a la observación
accuracyPrecisión en metros de la ubicación. 999 si no se conoce la precisión
validation  Estado de validación de la observación.
Valores:
"O" -> Observación sin evaluar por un experto
"A" -> Observación aprobada automáticamente en base al conocimiento previo
"J"-> Observación aprobada manualmente por un experto
"N" -> Observación marcada como incorrecta por un experto
"P" -> Observación aprobada por un experto, basada en conocimiento previo
"U" -> Observación con dudas y que no se puede validar apropiadamente
"I" -> Observación bajo estudio
has photos"true" si adjunta fotos. "false" en caso contrario
has sounds"true" si adjunta sonidos. "false" en caso contrario
related species  Especie secundaria de la observación
substrateValor introducido
method Método de observación
notes  Comentarios adicionales del observador
validator name  Nombre de la persona responsable de la valdiación de la observación
last validation date  Fecha de última revisión de la observación
obscurity  Si la observación está oculta por seguridad
obscurity  Si la observación está oculta por seguridad
embargo date  Fecha hasta la que la observcación está oculta
external reference  Enlace externo con información adicional
user name  Nombre de la persona autora de la observación
user id  Identificador de la cuenta de la persona autora de la observación


¿Cómo analizo los datos?
   
Podríamos empezar a trabajar con estos dicheros directamente en R, pero en esta serie de artículos vamos a explicar cómo manejar ficheros grandes, de varios cientos de megas, de manera óptima. En vez de introducir directamente los ficheros en R o filtrarlos con AWK, como hacen otras bibliotecas de manejo de datos, vamos a avanzar un paso más utilizando un motor de base de datos real, tal como se explica en el curso de análisis de Ciencia Ciudadana de Observation.orghttps://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M
Coordinación de Observation.org España