En un mundo donde la Inteligencia Artificial avanza a pasos agigantados, investigadores de la Universidad de Bamberg han revelado que los Modelos de Lenguaje de Gran Tamaño (LLM) tienden a exhibir ciertos sesgos demográficos durante la anotación de datos, incluso cuando no se proporciona información específica sobre el demógrafo. Utilizando el conjunto de datos P OPQUORN, la investigación se centró en cómo los modeladores de lenguaje grande asumen identidades demográficas predeterminadas si no se dan específicas características sociodemográficas.
Los estudios detallaron que los LLM se alinean más con las anotaciones realizadas por personas identificadas como blancas, en comparación con aquellos que se identifican como negros o afroamericanos. Adicionalmente, la exactitud en las anotaciones disminuye progresivamente con la edad del individuo para las tareas de calificación de la ofensa, acentuándose una diferencia de 0.01 puntos por cada año. Este trabajo sugiere que las características inherentes a los anotadores humanos influencian las etiquetas asignadas por los modelos de lenguaje.
Se compararon tres tipos de configuración de prompt: sociodemográficamente informado, con características de placebo y sin datos adicionales. Sorprendentemente, los resultados del placebo no mostraron diferencias notables en la precisión del modelo, pero los prompts sociodemográficos mostraron diferencias más prominentes en los resultados de anotación. Esto refuerza la conclusión de que proporcionar elementos demográficos reales impacta más en los cambios de predicción que el uso de información no relevante.
Los resultados también revelaron variaciones en función del tipo de tarea. Los modelos, en general, fueron más sensibles a las características demográficas cuando se realizaban anotaciones sobre la cortesía que sobre la ofensiva.
Concluyendo, aunque los LLM no presentan un “persona” predeterminada evidente, la variabilidad en sus resultados destaca la importancia de reconocer la diversidad sociodemográfica, sugiriendo un camino fundamental para mejorar la precisión de las anotaciones automáticas en la IA lingüística.