Investigadores de la Universidad de Hong Kong en colaboración con Youdao de NetEase han desarrollado un marco de trabajo nuevo que emula los procesos de enseñanza para mejorar las capacidades de razonamiento de los Modelos de Lenguaje a Gran Escala (LLMs). A pesar de los avances impresionantes de estos modelos en varios dominios, las tareas de razonamiento aritmético aún representan un desafío. Para abordar este problema, se han propuesto métodos de diseño de prompts como Chain-of-Thought (CoT), que proporcionan pasos de razonamiento intermedios y han demostrado su efectividad en experimentos extensivos.

Sin embargo, estas metodologías han pasado por alto la importancia de contar con el conocimiento previo necesario de teoremas y conceptos específicos. Basándose en CoT, se han refinado y mejorado estas aproximaciones mediante métodos como Zero-shot-CoT, CoT basado en la complejidad, y el auto-consistency. El nuevo marco propuesto por Tan y sus colegas ofrece a los LLMs conceptos esenciales, teoremas relevantes y problemas similares con enfoques de solución análogos, facilitando el mejoramiento de las habilidades de razonamiento.

Además, el equipo de investigación introduce dos nuevos conjuntos de datos matemáticos en chino, MathMC y MathToF, ambos con explicaciones detalladas y respuestas, que demuestran cómo este enfoque mejora la precisión en el razonamiento de los LLMs. Los experimentos realizados en nueve benchmarks indican que este marco no solo es efectivo, sino que alcanza un nuevo rendimiento de vanguardia en cuatro de ellos, logrando precisiones de hasta el 98.2% en AddSub.

A pesar de los avances logrados por los métodos de prompting, se resalta la necesidad de un dominio fuerte sobre conceptos teóricos para resolver problemas de razonamiento aritmético de manera exitosa. La inclusión de este conocimiento educativo no solo sienta las bases para cálculos intermedios correctos, sino que también garantiza resultados finales precisos.

Inspirado por métodos tradicionales de enseñanza, el marco de trabajo se estructura en torno a proporcionar un conocimiento claro y problemático específico, complementando con ideas de solución asequibles a través de la adopción de mecanismos de verificación y selección doble de respuestas, elevando la habilidad de razonamiento de los LLMs.

El enfoque de Tan y sus colegas no solo redefine la enseñanza integrada para modelos de lenguaje, sino que también abre la puerta a futuras investigaciones en la intersección entre educación y tecnología, sentando las bases de cómo los modelos de inteligencia artificial pueden beneficiarse al emular procesos educativos humanos.