En un estudio reciente, realizado por un equipo de investigadores de la Universidad Nacional de Seúl, se analizaron las limitaciones y retos enfrentados por los Modelos de Lenguaje Aumentado con Recuperación (RALMs) en escenarios donde la información obtenida es imperfecta. Seong-Il Park y Jay-Yoon Lee, responsables del estudio, identificaron tres situaciones comunes que afectan la capacidad de estos modelos para proporcionar respuestas precisas: datos no contestables, información adversarial y conflictos en la información.

Los RALMs, aunque reconocidos por su capacidad de generar respuestas precisas apoyándose en fuentes de conocimiento externas, enfrentan desafíos significativos cuando estos recursos contienen errores o desinformación. De acuerdo con el estudio, se descubrió que los RALMs no son efectivos en la identificación de situaciones en las que la información recuperada no contiene la respuesta adecuada. En tales casos, existe una alta propensión a producir respuestas incorrectas, fenómeno conocido como ‘alucinación’.

Se desarrolló un nuevo método de ataque adversarial, denominado GenADV, diseñado para simular escenarios donde la información incorrecta o descontextualizada puede distraer al modelo. Los investigadores utilizaron esta técnica para evaluar la efectividad de los RALMs en detectar adversarios y midieron su rendimiento con una métrica novedosa llamada Robustness under Additional Document (RAD). Los resultados mostraron que la adición de un documento adversarial puede degradar significativamente el rendimiento de los RALMs, especialmente cuando no se proporciona una respuesta clara en el conjunto de documentos recuperados.

Para lidiar con la información conflictiva, otro aspecto estudiado fue la capacidad de los RALMs para identificar y abordar conflicto en los datos. Sin embargo, los RALMs frecuentemente fallaron en reconocer inconsistencias en los documentos obtenidos, lo cual aumenta la probabilidad de generar respuestas basadas en errores o información incompleta. Este hallazgo resalta la dificultad de los RALMs para operar con información que proviene de múltiples fuentes y que puede estar contaminada con datos incorrectos.

El estudio concluye que, aunque los RALMs ofrecen una solución prometedora para las tareas de procesamiento del lenguaje natural en dominios abiertos, aún existen áreas críticas que necesitan ser fortalecidas. Mejorar su capacidad para manejar información imperfecta y robustecer su ejecución frente a escenarios adversos es esencial para desarrollar modelos más efectivos y fiables en el futuro.