La investigación sobre modelos de lenguaje grandes y su capacidad para procesar información en múltiples idiomas ha mostrado resultados reveladores. Estudiando la activación neuronal en estos modelos, se descubrió que al presentar el mismo contenido semántico en diferentes idiomas, los patrones de activación neuronal varían. Esto evidencia un comportamiento peculiar en los modelos monolingües que no se traslada a contextos multilingües.

Uno de los hallazgos fundamentales es la clasificación de neuronas activas en cuatro categorías: todas compartidas, parcialmente compartidas, específicas y no activas. Esta categorización permite distinguir cómo las neuronas se comportan frente a diferentes tareas e idiomas. El comportamiento de las neuronas “todas compartidas” resalta, dado que tienen un importante impacto en la generación de respuestas y muestran ser críticas para el rendimiento del modelo en tareas que abarcan múltiples idiomas.

El estudio también muestra que, a pesar de contar con salidas semánticas idénticas, las neuronas no se activan de forma más similar en idiomas que pertenecen a la misma familia lingüística. Por ejemplo, idiomas tan distintos como el alemán y el chino muestran patrones de activación neuronales comparables a los de idiomas más cercanos lingüísticamente, como el francés y el alemán. Dicho descubrimiento destaca la necesidad de analizar en profundidad el papel de las neuronas en contextos multilingües para optimizar la eficacia del procesamiento del lenguaje natural.

Se ha propuesto un enfoque de clasificación más detallado para entender mejor la complejidad lingual dentro de estos modelos. Además, se comprobó que las neuronas compartidas universalmente contribuyen de manera más significativa al rendimiento del modelo, y su desactivación resulta en una notable disminución del mismo.

Estos hallazgos no solo mejoran nuestra comprensión sobre cómo los modelos de lenguaje gestionan la información en diferentes idiomas, sino que también allanan el camino para futuras investigaciones que profundicen en estos fenómenos aún no resueltos sobre las redes neuronales artificiales.