Investigadores de la Universidad Estatal de Michigan y la Universidad Cristiana de Texas han realizado un estudio empleando el modelo de lenguaje GPT-4 para analizar su capacidad de simular respuestas humanas en encuestas sociales y explorar la presencia de prejuicios de respuesta de deseabilidad social (SDR, por sus siglas en inglés). Utilizando datos del Gallup World Poll de 2022, simularon respuestas basándose en las “personas” de cuatro sociedades: Hong Kong, Sudáfrica, Reino Unido y Estados Unidos.

Para evaluar la generación de sesgos, se incluyó una “declaración de compromiso” que típicamente induce a los encuestados a responder de forma socialmente aceptable. Los resultados revelaron que este estímulo incrementaba los índices de SDR, un indicio de sesgo de deseabilidad social, pero al mismo tiempo reducía los índices de participación cívica, lo cual es un patrón contrario a lo esperado. Estos datos sugieren que, si bien las respuestas de los modelos de lenguaje bajo ciertas condiciones pueden parecer más socialmente deseables, no siempre siguen el mismo patrón que las respuestas humanas.

Además, el estudio encontró que ciertas características demográficas, como la edad y el nivel educativo, tenían una correlación con los índices de SDR. Los individuos sintéticos mayores y con mayor nivel educativo eran más propensos a exhibir un sesgo de SDR más alto. Este patrón se magnifica cuando la “declaración de compromiso” está presente, aumentando así los índices de SDR comparado con su ausencia.

El impacto de esta “declaración de compromiso” en el rendimiento predictivo de GPT-4 fue mínimo. Aunque el rendimiento de GPT-4 difiere según las sociedades en ciertas actividades cívicas, como las donaciones a entidades de caridad, el estudio sugiere que esto podría estar relacionado con una sensibilidad cultural limitada del modelo en su capacidad para capturar adecuadamente las variaciones.

En conclusión, aunque los grandes modelos de lenguaje como GPT-4 tienen un notable potencial para simular respuestas humanas, la complejidad inherente a los sesgos de deseabilidad social aún requiere un análisis más profundo. El uso de modelos de lenguaje en entornos de investigación social ofrece un campo prometedor para comprender mejor los sesgos humanos y, a su vez, mejorar la precisión futura de los modelos predictivos inteligencia artificial.