La Universidad de Edimburgo y el Centro de Innovación y de Investigación en IT de Huawei han elaborado un estudio donde se analiza la capacidad de los grandes modelos de lenguaje (LLMs) para ofrecer clasificaciones preferenciales consistentes. A pesar de los avances recientes de estos modelos, los problemas de sesgo y alucinación persisten. Esto es crucial en escenarios con un espacio de decisión denso o respuestas sin absolutos claros.
Para cumplir con estas clasificaciones, los investigadores establecieron criterios basados en la teoría del orden. Se examinaron elementos como transitividad, asimetría, reversibilidad y la independencia de alternativas irrelevantes. Mediante experimentos diagnósticos, se identificó una notable incapacidad de los LLMs para cumplir con estos criterios, manifestando un fuerte sesgo posicional y una transitoriedad deficiente.
El experimento utilizó modelos como el llama-3-70B y gpt-3.5-turbo en tareas de Multi-Choice y rankings preferenciales con una consistencia débil. Sintomáticamente, existía una falta de asimetría y transitoriedad en los modelos probados. En los casos donde se esperaba que los modelos ofrecieran clasificaciones lógicas equivalentes en secuencias ascendentes y descendentes, se comprobó que no generaban resultados coherentes.
Los hallazgos acentúan que los modelos probados están altamente influenciados por la adición o eliminación de alternativas irrelevantes y siguen exhibiendo un sesgo severo en la posición de opciones, lo cual es evidente en las tareas de ranking preferencial comparadas con tareas de elección única.
Este estudio aporta a la necesidad de entender los comportamientos no anticipados en modelos de lenguaje, dado que sus preferencias son fácilmente alteradas por elementos irrelevantes. Según los investigadores, estas inconsistencias deben ser abordadas para una aplicabilidad más confiable de los LLMs en tareas de análisis y ranking complejos.
Concluyen indicando que a pesar de las deficiencias observadas, el desarrollo continuado de estos modelos podría beneficiar la representación de preferencias en situaciones donde las respuestas absolutas no existen, sugiriendo también la creación de un nuevo banco de pruebas que priorice la representatividad en lugar de la mera corrección binaria.