La creciente comunidad investigativa en inteligencia artificial ha impulsado una discusión crucial sobre la transparencia en la descripción y publicación de las superposiciones entre los datos de entrenamiento y prueba utilizados por los modelos de lenguaje. Cabe destacar que de los 30 desarrolladores evaluados, incluidos gigantes como OpenAI y Meta, solo nueve modelos han reportado de manera transparente sus estadísticas de superposición entre entrenamiento y prueba.

Un total de cuatro modelos, como GPT-NeoX de EleutherAI y StarCoder 2 de BigCode, han adoptado la transparencia de código abierto, permitiendo que la comunidad analice sus datos de entrenamiento. Otros cinco modelos, incluido el conocido GPT-4 de OpenAI, han divulgado sus metodologías y estadísticas correspondientes. Es crucial comentar que el restante grupo de modelos ha publicado evaluaciones en conjuntos de prueba públicos sin brindar datos claros sobre esta superposición, lo que deja espacio para dudas en la comunidad.

La cuestión de la superposición se ha intensificado debido al fenómeno de los enormes conjuntos de datos web, muy utilizados hoy sin una documentación precisa sobre la procedencia de los datos. Esto ha derivado en un entendimiento limitado del fenómeno, el cual podría influir negativamente en la productividad real de los modelos al estar a veces “conocidos” antes de ser evaluados. La comunidad continúa desarrollando métodos para estimar la superposición de forma indirecta, pero estos esfuerzos aún afrontan serias limitaciones.

Por todas estas razones, y en similitud a lo que se exige a los estadísticos para publicar intervalos de confianza junto a sus resultados, se propone que los desarrolladores de modelos de IA deben adjuntar estadísticas de superposición de entrenamiento y prueba al reportar resultados en pruebas públicas. Esta práctica no solo validaría los resultados, sino que también abriría el camino a nuevos métodos estándar que guíen a la comunidad en una dirección de mayor transparencia y confianza en las evaluaciones.

En conclusión, a medida que la comunidad se sensibiliza más sobre los retos de la superposición de datos de entrenamiento y prueba, es fundamental abordar las limitaciones actuales y promover una transparencia iterativa y constante. La esperanza es que más desarrolladores se unan a estos esfuerzos, desarrollando métodos cada vez más precisos para medir y comunicar esta superposición.