Investigadores de la Universidad de Tsinghua han introducido una novedosa herramienta, CalibraEval, que promete mitigar el sesgo de selección en los modelos de lenguaje automático, también conocidos como LLMs-as-Judges. Durante la última década, el uso de modelos de lenguaje grandes (LLMs) se ha incrementado en tareas de clasificación de respuestas generadas por IA. Sin embargo, estos modelos a menudo muestran preferencias inconsistentes dependiendo de la posición de las opciones o de los identificadores de tokens, generando sesgos de selección que comprometen la efectividad de sus evaluaciones.

CalibraEval aborda esta problemática reformulando la eliminación del sesgo como una tarea de optimización que alinea las distribuciones de predicción observadas con distribuciones imparciales. Para llevar a cabo esta corrección, el equipo ha propuesto un algoritmo no paramétrico que preserva el orden. Este algoritmo explota las relaciones entre las distribuciones predichas para diferentes combinaciones, eliminando la necesidad de etiquetas explícitas y de modelos matemáticos precisos.

Los resultados empíricos han mostrado que CalibraEval supera a los métodos existentes de eliminación de sesgos en varios puntos de referencia representativos, mejorando la robustez y el rendimiento de los LLMs en entornos diversos. Esta solución innovadora refuerza la capacidad y precisión de los LLMs en su rol como evaluadores automáticos, sugiriendo un camino hacia evaluaciones más confiables en el ámbito de la inteligencia artificial.

En conclusión, la introducción de CalibraEval no solo promete mejorar la precisión de las evaluaciones automatizadas, sino también establecer un estándar más justo y eficiente en cómo se juzga el rendimiento de las respuestas generadas, potenciando las aplicaciones de LLMs en una amplia gama de contextos tecnológicos y científicos.