Calendario

[Coordinación Observation España]

¿Cómo de bien o mal funciona la NIA (la Inteligencia Artificial de Naturaleza) para la identificación de especies en Observation.org?

Se está entrenando un nuevo modelo de identificación de especies a nivel de Europa, y lo hemos comparado con el modelo actual (de Bélgica-Holanda).

El procedimiento de prueba se ha realizado de la siguiente manera:  Para todas las especies incluidas en el modelo europeo, se han seleccionado aleatoriamente 20 observaciones aprobadas con fotos de observation.org, y se ha ejecutado la NIA sobre ellas utilizando los dos modelos (el nuevo y el antiguo)

Los resultados parecen muy buenos. Por ejemplo, para mamíferos el módelo europeo incorporan 336 taxones nuevos a los 121 existentes. De estos últimos, se mejora la identificación de 66, no presenta mejora con 33 y pierde fiabilidad en 22. De estos nuevos 336, el algoritmo funciona realmente bien con 122 de ellos.

En general, de un total de 457 taxones se identifican correctamente

   
• 72 el 100% de las veces
• 138 entre el 100% y el 80% de las veces
• 17 entre el 80% y el 50% de las veces
• 7 entre el 50% y el 0%
• 224 no es capaz de identificarlas

¿Esto es bueno o malo? Pues depende de lo habitual que sean las 210 especies en las que acierta un 80% o más de las veces.

En cualquier caso, es una mejora sustancial sobre el modelo anterior, que solo era capaz de identificar 121 especies, de las cuales con solo 34 tenía un porcentaje de acierto mayor del 80%. Si nos referimos a esas 121 especies, el nuevo modelo acierta ahora en 91 de ellas más del 80% de las veces.

Para seguir mejorando en el futuro, es importante incorporar más fotos en las observaciones. Y por supuesto, el fundamental trabajo que desarrollan de manera desinteresada los validadores. Sin su colaboración sería imposible obtener un conjunto de datos de calidad con el que entrenar la inteligencia artificial.

Los resultados de esta comparativa están disponibles para su descarga por grupos de especies.
Por ejemplo, el siguiente enlace da información sobre los datos de mamíferos: https://old.observation.org/download/nia/nia_log_2.csv
Para otros grupos de especies hay que cambiar el 2 por el identificador del grupo.
La información obtenida se ha volcado en un CSV con los siguientes campos:

EUR (nuevo modelo europeo):

Código [Seleccionar] Expandir

Identificador de especie
nombre científico
nombre completo
Total de identificaciones correctas
Total de identificaciones incorrectas
Promedio de identificaciones correctas (en porcentaje)
Promedio de identificaciones incorrectas (en porcentajes)
Nombres incorrectos (o los diferentes tipos que se le ocurren a la NIA)

PROD (modelo nl-be):

Código [Seleccionar] Expandir

Identificador de especie
Total de identificaciones correctas
Total de identificaciones incorrectas
Promedio de identificaciones correctas (en porcentaje)
Promedio de identificaciones incorrectas (en porcentajes)
Nombres incorrectos (o los diferentes tipos que se le ocurren a la NIA)
Estas columnas contienen un '-' si la especie no se encuentra en el modelo nl-be

Luego vienen varias columnas que resumen la ecuación

Código [Seleccionar] Expandir

Cambio positivo -> el modelo europeo parece ser una mejora frente al holandés-belga
Cambio negativo -> el modelo europeo parece obtener peores resultados frente al holandés-belga
sin cambios -> sin diferencia
not in current -> la especie no está en el modelo nl / be, por lo que es una mejora.