Calendario

[Coordinación Observation España]

¿Cómo descargar los datos?
¿Cómo trabajar con los datos de observaciones que podemos obtener en bruto de la web Observation.org (Observado en España), para procesarlos después con R utilizando una base de datos como intermediario? En colaboración con la Universidad de Burgos hemos realizado un cursillo sobre el manejo de datos de Ciencia Ciudadana, que podéis ver en nuestro canal de YouTube: https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M

En este pequeño artículo os vamos a explicar una primera parte del curso que tenéis en vídeo, en el que veremos la estructura de la información que nos descargamos de Observation.org.

En este artículo vamos a ver el formato del sitio antiguo de Observation.org o, lo que es lo mismo, en spain.observation.org y cualquiera de los portales regionales.

Si lo que queremos es trabajar con nuestras propias observaciones, podemos ir al menú "Mi observation.org > Exportar/backup" . Seleccionamos los filtros que queramos aplicar para la descarga, como el grupo de especies, nivel de rareza, o un rango de fechas.

Es importante que marquemos la opción "Archivo CSV", que nos dará el máximo de información.

Formulario de descarga de observaciones propias





Una vez pulsemos el botón "Actualizar" se mostrará justo debajo del botón el enlace que deberemos seguir para descargar la información.



Si lo que queremos es obtener observaciones de todos los usuarios de Observation.org enviaremos un correo a info@observation.org con el detalle de la información que queremos descargar, y nos enviarán el paquete de datos directamente.

¿Qué formato tienen los datos?

Como resultado de ambas operaciones obtendremos un CSV muy similar, con todos los detalles de cada una de las observaciones.

Estos ficheros CSV descargados están en formato UTF-16, idioma español, y con los valores separados por tabuladores. Se pueden abrir de manera directa con LibreOffice o MS Excel, aunque es recomendable usar LibreOffice porque maneja mejor los ficheros CSV que MS Excel.

En la tabla siguiente podemos consultar las columnas presentes en el CSV que se descarga al consultar las observaciones personales desde el portal Observation.org, y qué información se incluye en cada una de ellas:

Nombre	Valores
Id	Identificador único de la observación (principal)
scientific name	Nombre científico de la especie observada
species name	Nombre común en el idioma seleccionado
family	Familia taxonómica
species type	Tipo de taxón: especie, subespecie, forma, multiespecie, etc.
species group	Grupo de especies al que pertenece el taxón observado
date	Fecha de la observación
time	Hora de la observación
created	Fecha de envío de la observación
modified	Fecha de última modificación de la observación
source	Orígen de la observación: ObsMapp, iObs, Sitio Web, copiada de otro observador, importada de eBird, etc.
number	Número de individuos observados
sexo	Valor seleccionado. "U" -> Sin especificar "F" -> Hembra "M" -> Macho
counting method	Valor seleccionado
life stage	Estadío vital/Apariencia seleccionada
activity	Valor seleccionado
lon	Coordenada decimal X (longitud) en datum WGS84, con precisión de 5 decimales
lat	Coordenada decimal Y (latitud) en datum WGS84, con precisión de 5 decimales
location	Nombre del polígono más pequeño existente donde se encuentra la observación, a fecha de creación de la observación
country division	Provincia donde se encuentra la observación
country	País donde se encuentra la observación
is certain	ATENCIÓN: A percepción del observador, si tiene dudas en la identificación o no Valores: "true" si el observador está seguro de la observación "false" si la marcó como "Con dudas"
is escape	"false" si es una observación un individuo silvestre "true" si es una observación de un individuo cuya presencia no es natural, sino que hay intervención humana
link	URL a la observación
accuracy	Precisión en metros de la ubicación. 999 si no se conoce la precisión
validation	Estado de validación de la observación. Valores: "O" -> Observación sin evaluar por un experto "A" -> Observación aprobada automáticamente en base al conocimiento previo "J"-> Observación aprobada manualmente por un experto "N" -> Observación marcada como incorrecta por un experto "P" -> Observación aprobada por un experto, basada en conocimiento previo "U" -> Observación con dudas y que no se puede validar apropiadamente "I" -> Observación bajo estudio
has photos	"true" si adjunta fotos. "false" en caso contrario
has sounds	"true" si adjunta sonidos. "false" en caso contrario
related species	Especie secundaria de la observación
substrate	Valor introducido
method	Método de observación
notes	Comentarios adicionales del observador
validator name	Nombre de la persona responsable de la valdiación de la observación
last validation date	Fecha de última revisión de la observación
obscurity	Si la observación está oculta por seguridad
obscurity	Si la observación está oculta por seguridad
embargo date	Fecha hasta la que la observcación está oculta
external reference	Enlace externo con información adicional
user name	Nombre de la persona autora de la observación
user id	Identificador de la cuenta de la persona autora de la observación

¿Cómo analizo los datos?
   
Podríamos empezar a trabajar con estos dicheros directamente en R, pero en esta serie de artículos vamos a explicar cómo manejar ficheros grandes, de varios cientos de megas, de manera óptima. En vez de introducir directamente los ficheros en R o filtrarlos con AWK, como hacen otras bibliotecas de manejo de datos, vamos a avanzar un paso más utilizando un motor de base de datos real, tal como se explica en el curso de análisis de Ciencia Ciudadana de Observation.org:  https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M