La investigación presenta importantes avances en la capacidad de generalización en longitud de los modelos Transformers aplicados a tareas aritméticas, específicamente en la suma y multiplicación de múltiples operandos. Este tipo de generalización es crucial para que las máquinas no dependan únicamente de los datos exactos sobre los que fueron entrenadas.

El problema de la generalización de longitud en los Transformers ha sido históricamente un reto significativo. Estos modelos, a menudo, fracasan al enfrentar secuencias más prolongadas que las vistas durante su formación. La dificultad en tareas como la suma y multiplicación con múltiples parámetros, donde ambos la cantidad de operandos y sus longitudes deben ser generalizados más allá del conocimiento visto, magnificar este desafío.

En el reciente estudio, los investigadores implementaron cuadernos específicos para cada tarea aritmética con el fin de dirigir al modelo hacia un número fijo de tokens durante cada paso de predicción del siguiente token. Esta novedad específica permite que el modelo enfoque su procesamiento únicamente en la información inmediatamente relevante, sin verse abrumado por la totalidad de cifras presentes.

La posición de acoplamiento se emplea a nivel multicapas para indicar a los Transformers la posición exacta según el contexto operativo, favoreciendo la capacidad de resolución de problemas que previamente se consideraban intratables por la incapacidad diferencial de distinguir la importancia relativa dentro de las cadenas.

Esta metodología no se limita simplemente a probar que los Transformers son capaces de resolver sumas y multiplicaciones de múltiples operandos, sino que enriquece significativamente sus precisiones predictivas, un salto hacia adelante en el campo de la inteligencia artificial coherente y autónoma.