DiaHalu: Un nuevo horizonte en la evaluación de las alucinaciones a nivel de diálogo para Modelos de Lenguaje a Gran Escala

En los últimos años, los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han alcanzado un éxito sobresaliente en varios campos de Procesamiento de Lenguaje Natural (NLP), sin embargo, el fenómeno de las alucinaciones sigue siendo un gran desafío. Para abordar este problema, un grupo de investigadores de la Escuela de Ciencias de la Computación y Tecnología de la Universidad Normal del Este de China ha desarrollado DiaHalu, el primer benchmark de evaluación de alucinaciones a nivel de diálogo diseñado específicamente para LLMs.

Esta investigación reconoce que, aunque se han propuesto diversos benchmarks para la detección de alucinaciones, muchos de ellos no son generados naturalmente por los LLMs sino que son inducidos intencionalmente, concentrándose principalmente en alucinaciones de factualidad y no abarcando la fidelidad. Además, aunque el patrón de diálogo es ampliamente utilizado, los benchmarks actuales apenas se enfocan en alucinaciones a nivel de oración y pasaje.

DiaHalu es pionero en evaluar las alucinaciones a nivel de diálogo. Este estudio ha incorporado un enfoque donde se integran tópicos recopilados en instrucciones del sistema que facilitan un diálogo entre dos LLMs. Estas conversaciones son luego revisadas manualmente para eliminar respuestas que no cumplen con las convenciones del lenguaje humano.

El equipo ha identificado cuatro dominios de diálogo comúnmente usados y ha dividido las alucinaciones en cinco subtipos que van desde la factualidad hasta la fidelidad. Algunas de estas subcategorías son: errores de coherencia, irrelevancia y sobreconfianza. Todas las muestras del dataset son posteriormente etiquetadas por académicos profesionales, asegurando así la calidad del benchmark.

Los experimentos realizados con varios LLMs bien conocidos y métodos de detección de alucinaciones indican que DiaHalu presenta desafíos significativos, mostrando que comprender y mitigar las alucinaciones sigue siendo una tarea compleja. La comunidad investigadora, por lo tanto, puede beneficiarse enormemente de este nuevo recurso, ayudando a limitar el impacto de las alucinaciones en la aplicación de LLMs en escenarios reales.