Un estudio reciente de la Universidad de Sheffield se adentra en las limitaciones de los modelos de lenguaje grandes (LLMs) al enfrentar ciertos retos lógicos. Esta investigación introduce el término “rulebreakers” para referirse a aquellas situaciones donde el razonamiento lógico no se alinea con las inferencias más intuitivas de los humanos. La investigación se centra en evaluar el desempeño de seis de los modelos de LLM más avanzados, utilizando el nuevo conjunto de datos RULEBREAKERS.
El estudio revela que, aunque estos modelos pueden distinguir entre “rulebreakers” y casos donde el razonamiento es lógicamente consistente (los “non-rulebreakers”), su rendimiento no es comparable al de un humano. Por ejemplo, en muchos casos, los modelos son capaces de practicar el modus tollens o el silogismo disyuntivo, pero fallan al reconocer que ciertas deducciones no son válidas desde un punto de vista fáctico.
Durante los experimentos, los LLM mostraron una tendencia a “sobregeneralizar” las reglas lógicas, aplicándolas de manera inflexible. Esta limitación parece originarse en la distribución de la atención de los modelos, que a menudo no prioriza adecuadamente los datos de los que se puede derivar una inferencia inconsistente.
Además, se observó que los modelos tenían resultados dispares según familiaridad con los conceptos implicados. Por ejemplo, ciudades menos conocidas o pequeños estados insulares presentaron mayores desafíos, sugiriendo que un déficit en el conocimiento previo de los modelos podría impactar su razonamiento.
Estos hallazgos sugieren que, aunque los LLM han mostrado habilidades sorprendentes en otras áreas del procesamiento del lenguaje natural, existe un área significativa de mejora en su capacidad para reconciliar la lógica formal con el conocimiento del mundo real de manera similar a los humanos.
El desarrollo de modelos que gestionen mejor estos factores podría cerrar la brecha entre las conclusiones lógicas estrictas y el conocimiento implícito humano, lo que redundaría en aplicaciones más confiables y precisas en campos como la inteligencia artificial y el procesamiento de información natural.