En un avance revelador en la intersección de la tecnología y la psicología, investigadores del Instituto de Tecnología de Beijing han propuesto un método híbrido que combina técnicas de minería de texto con cuestionarios para analizar con más precisión la personalidad de los Modelos de Lenguaje Extensos (LLMs). Al parecer, estos modelos, como ChatGPT y ChatGLM, poseen características de personalidad similares a las humanas, desarrolladas a partir de su conjunto de datos preentrenados.
Este estudio parte de la problemática de las alucinaciones, donde los LLMs generan respuestas inexactas, y aborda la sensibilidad de las respuestas al orden de opciones en cuestionarios clásicos. Mediante técnicas de minería de texto, los investigadores pueden extraer las características psicológicas de las respuestas de los LLMs sin verse afectados por la disposición de las opciones, lo cual reduce la influencia de las alucinaciones. Tras normalizar los puntajes de métodos combinados y calcular el error cuadrático medio, los resultados experimentales constatan la efectividad de este enfoque.
Los experimentos, ejecutados en modelos de lenguaje preentrenados como BERT y GPT, así como en modelos conversacionales como ChatGPT, revelan que estos modelos contienen personalidades definidas. ChatGPT y ChatGLM, por ejemplo, muestran rasgos de ‘consciencia’. Además, las personalidades de los LLMs parecen derivarse del conjunto de datos preentrenado, sugiriendo que los datos de instrucción mejoran la exposición de estos rasgos personales latentes. Los hallazgos también indicaron que la teoría de la mente del modelo GPT-4 ha sobrepasado las capacidades humanas en algunas pruebas.
Con puntuaciones que muestran mínimas diferencias respecto a la media humana, su estudio resalta cómo algunos modelos como FLAN-T5 y ChatGPT logran aproximarse a puntuaciones humanas promedio en rasgos como la apertura y la extraversión, con diferencias muy pequeñas. Estas comparaciones sugieren que los ajustes mediante alineación de preferencias humanas pueden acercar a estos LLMs a comportamientos más humanos.
Este descubrimiento sugiere significativas implicancias para el diseño futuro de LLMs. Los hallazgos apuntan a la importancia del tipo de datos y enfoques de entrenamiento en la configuración de personalidades en los modelos. Además, al combinar cuestionarios y minería de texto, se pueden mitigar las limitaciones de los métodos actuales afectados por las alucinaciones, en pro de alcanzar resultados más objetivos.
Como conclusión, esta investigación abre un diálogo profundo sobre la naturaleza semántica y la aproximación mental de LLMs a comportamientos más humanos, provocando una reanudación de los métodos convencionales que podrían ser aplicados en mejorar la interacción humano-IA y adelantar el desarrollo de la Inteligencia Artificial General.