Un grupo de investigadores de la Universidad de California, Berkeley, ha presentado una innovadora solución para evaluar modelos de recompensa dentro del ámbito del Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF, por sus siglas en inglés). Este avance se centra en crear un nuevo estándar de referencia denominado Preferencia Proxy Evaluaciones (PPE), el cual cuantifica la capacidad de estos modelos para mejorar el rendimiento de los modelos de lenguaje, sin necesidad de llevar a cabo procesos de entrenamiento completos y costosos.
La propuesta se basa en un modelo predictivo que evalúa el rendimiento de los modelos de recompensa mediante pruebas sustitutas. Estas pruebas incluyen un extenso conjunto de preferencias humanas evaluadas y una base de datos de preferencias verificadas, midiendo así un total de doce métricas en otros tantos dominios. Para comprobar cuáles de estas métricas se correlacionan más con los resultados estándar del RLHF, se llevó a cabo un experimento a gran escala basado en preferencias humanas para validar los resultados obtenidos.
El equipo llevó a cabo un análisis end-to-end utilizando plataformas de preferencias humanas generadas por crowdsourcing, como Chatbot Arena, para medir los resultados del modelo de recompensa y establecer una verdad sobre el terreno. El experimento analizó cuánto se correlacionan las métricas de los modelos de recompensa con el rendimiento real del modelo de lenguaje post-RLHF.
Un aspecto crucial del estudio fue asegurar que las evaluaciones realizadas fueran verdaderas muestras representativas del uso real y orgánico de los modelos de lenguaje naturales, evitando el uso de juicios de expertos o señales prefabricadas. Esto fue clave para mantener al margen sesgos no deseados en la recopilación de datos y garantizar la validez de los resultados.
PPE es el primer gran paso hacia la estandarización de evaluaciones de calidad de los modelos de recompensa con vinculación directa a los resultados del mundo real, permitiendo mejoras continuas y tangibles en su rendimiento. Al abrir esta fuente de datos para uso público, la comunidad investigadora puede seguir desarrollando en base a este marco, potenciando un enfoque realista de potenciación de modelos de lenguaje a través del RLHF.
En conclusión, la investigación de la Universidad de California, Berkeley, marca un hito en cómo se miden y evalúan los modelos de recompensa, sugiriendo que centrarse en métricas granulares como la exactitud en preferencias humanas es crucial para anticipar el rendimiento del RLHF, y subrayando la importancia de observar el rendimiento más bajo posible para tener una idea clara de las mejoras necesarias. Con su desarrollo y apertura al público, PPE promete facilitar que futuras investigaciones exploren de forma exhaustiva la relación entre la calidad del modelo de recompensa y su rendimiento post-RLHF.