Recientes estudios realizados por investigadores de la School of Computation, Information and Technology de la Universidad Técnica de Munich revelan la presencia de sesgos cognitivos significativos en grandes modelos de lenguaje LLM (Large Language Models). La investigación, encabezada por Simon Malberg, Roman Poletukhin y Carolin M. Schuster, se centró en la evaluación de 30 sesgos cognitivos a través de 20 modelos diferentes, arrojando resultados sorprendentes que reafirman la propensión de estos modelos a reflejar algunos de los sesgos inherentes al juicio humano.

Los investigadores introdujeron un novedoso marco de pruebas que permite la generación masiva de escenarios para evaluar la presencia de estos sesgos, alcanzando un asombroso total de 30,000 pruebas aplicadas a los modelos. Estos sesgos afectan la toma de decisiones, mostrando cómo los modelos pueden emitir juicios distorsionados bajo ciertos parámetros predefinidos.

El estudio confirma que, a pesar de los avances en IA, los sesgos de género, éticos y políticos previamente documentados no son los únicos factores que afectan a los LLM. Los sesgos cognitivos, menos explorados en investigaciones anteriores, están intrínsecamente integrados. Uno de los hallazgos más sorprendentes del estudio es la alta incidencia del efecto “Framing”, así como otros sesgos que pueden alterar la racionalidad de los resultados en situaciones de toma de decisiones críticas.

El equipo de investigación evaluó modelos procedentes de 8 desarrolladores distintos, con tamaños que varían desde los 1 hasta los 175 mil millones de parámetros. Se observó que modelos de mayor tamaño no necesariamente presentan un menor sesgo, sino que, por el contrario, tienden a intensificar ciertos sesgos cognitivos. Además, los resultados muestran que estos sesgos pueden ser relacionados con la estructura y el procedimiento de entrenamiento de los modelos, un factor importante para entender cómo mitigar estos sesgos en futuros desarrollos.

La investigación concluye subrayando la importancia de continuar el examen de estos sesgos para avanzar hacia la creación de modelos de lenguaje más imparciales y efectivos. A través de la publicación de su código y datos, buscan incentivar investigaciones futuras que adopten un enfoque más consciente de estos desafíos, promoviendo la creación de bots de IA más justos y precisos.