La capacidad de los modelos recurrentes de ser aproximadores universales dentro de un contexto especificado ha sido fortalecida con la reciente investigación que demuestra cómo estos modelos pueden ser programados para ejecutar una variedad de tareas sin necesidad de ajustes en sus parámetros. Esta característica, previamente atribuida a los transformadores, ahora se extiende a las arquitecturas recurrentes completamente conectadas, incluidos RNNs, LSTMs, y SSMs.
Este avance se sustenta en el desarrollo del Lenguaje Recurrente Lineal en Estado (LSRL), que permite implementar modelos recurrentes que pueden ser solicitados para imitar una función de tarea continua predefinida. A través de LSRL, se ha comprobado que arquitecturas como LSTM y modelos recientemente populares como Hawk/Griffin, pueden ser manipulados para convertirse en aproximadores universales sin alterar sus pesos internos. Esta versatilidad surge del uso de la compuerta multiplicativa, que brinda a estas arquitecturas una estabilidad superior durante la operación.
El estudio se centra en comprender si estos modelos recurrentes, al igual que los transformadores, pueden aprender en el contexto provisto sin modificación paramétrica. Incluso cuando las funcionalidades de aprendizaje en contexto se han asociado principalmente con architecturas de transformadores, LSRL ha mostrado que se puede lograr la misma capacidad de aproximación en modelos recurrentes completamente conectados. Estos hallazgos abren la puerta hacia una mejor comprensión de cómo estos sistemas podrían implementarse de manera más segura y eficiente en aplicaciones prácticas.
Además, se han abordado las implicaciones matemáticas de la aproximación en sistemas discretos y continuos, revelando que el uso de estructuras de control condicional como la compuerta multiplicativa no solo amplía la estabilidad numérica, sino que también mejora el rendimiento al implementar programación lógica.
Como conclusión, la investigación destaca que la aproximación universal en contexto para estos modelos presenta una oportunidad para el diseño de sistemas más versátiles y robustos en inteligencia artificial, abriendo el camino a un futuro donde los modelos recurrentes puedan desempeñar un papel central en aplicaciones complejas de aprendizaje automatizado.