Un equipo de investigadores de la Universidad de Carolina del Norte ha identificado un desafío significativo en la alineación de los grandes modelos de lenguaje (LLMs) con las normas y valores sociales humanos. Aunque estos modelos han mostrado habilidades sobresalientes para generar texto similar al humano, su capacidad para evaluar la aceptabilidad social de varias situaciones sigue siendo inexacta y a menudo no concuerda con el consenso humano.
Para abordar esta discrepancia, los investigadores introdujeron S OCIAL G AZE, un marco de trabajo que mejora la capacidad de los LLMs para entender y razonar sobre comportamientos aceptables. Este sistema involucra al modelo en un proceso de deliberación multifacético antes de llegar a un juicio final, mejorando su alineación con los juicios humanos en hasta 11 puntos F1 al usarse con el modelo GPT-3.5. El enfoque promueve un examen detallado de situaciones sociales complejas, evaluando las acciones de individuos involucrados desde múltiples perspectivas antes de dictaminarlas como socialmente aceptables o no.
Durante los experimentos, se demostró que S OCIAL G AZE reduce sesgos en los LLMs, aunque aún se encontraron tendencias de juicio injusto. Por ejemplo, los narradores masculinos eran juzgados más duramente que las narradoras femeninas, y los narradores jóvenes enfrentaban más desfavorabilidad que los de mayor edad. Esto sugiere que a pesar de los avances en el alineamiento de juicio social, las preferencias y sesgos subyacentes en los modelos siguen siendo un desafío. También se observó que los modelos tendían a alinearse más con el consenso humano en las narrativas de individuos mayores, lo que puede deberse a la mayor complejidad y detalle en las historias presentadas.
La importancia de alinear estos modelos con valores sociales claros es evidente, especialmente porque se utilizan en aplicaciones que pueden afectar áreas críticas como la contratación, la mediación de conflictos y la comunicación interpersonal. El estudio destaca la necesidad continua de avanzar en estrategias para minimizar los sesgos inherentes en los modelos basados en LLMs y asegura un juicio más justo e imparcial en escenarios sociales.
En conclusión, aunque S OCIAL G AZE ha demostrado ser un paso significativo hacia hacer los LLMs más conscientes socialmente, el camino por recorrer es aún largo y requiere un esfuerzo concertado para manejar complejidades y sesgos que todavía afectan la percepción de los modelos hacia situaciones reales.