El avance del módulo State-Exchange Attention (SEA) ha supuesto un hito en el desarrollo de transformadores orientados a fidelizar estimaciones físicas en sistemas dinámicos. Este módulo promueve la interacción bidireccional de información entre variables de estado mediante atención cruzada, logrando mitigar notablemente errores acumulativos de predicción futuros, una limitación persistente en redes secuenciales tradicionales. Al estar integrado en una arquitectura semejante a la Vision Transformer (ViT), el SEA lanza redes espaciales coherentes que optimizan las interacciones complejas entre variables, garantizando una reducción significativa de errores de implementación.
Los resultados demuestran que el modelo Transformer con SEA destaca sobre modelos básicos, como PbGMR-GMUS y GMR-GMUS Transformer, con una drástica disminución de errores del 88% y 91%, respectivamente. Especialmente notable es el desempeño del SEA al reducir errores en un 97% en variables de estado altamente dependientes entre sí. Este avance enriquece el ámbito de transformadores secuenciales aplicados a simulaciones físicas, permitiendo correcciones iterativas entre campos variables mediante intercambio de información relevante.
Este camino promete notorias aplicaciones en el modelado de ecuaciones diferenciales parciales (PDE), donde tradicionalmente se han empleado simulaciones numéricas. La capacidad del SEA para incorporar simetrías físicas resuelve la frecuente necesidad de retreinar modelos debido al error de retroproyección pronunciado. Así, se optimiza tanto en tiempo de entrenamiento como en la precisión del modelo, reduciendo costos computacionales.
La evaluación del ViT-SEA en dinámicas de fluidos y flujos multifases corrobora su eficacia. En flujos alrededor de un cilindro, el SEA, al intercambiar información relevante entre variables de velocidad y presión, reduce un 98% el error en comparación con arquitecturas de menor rendimiento. Asimismo, en flujo multifásico, el SEA mostró una reducción del 52% en error de fracción volumétrica respecto a modelos básicos, afianzando su papel en aplicaciones que requieren precisión en el seguimiento de interface de fase.
El módulo SEA ha abierto un nuevo horizonte para la integración de transformadores en modelos físicos, estableciendo un paradigma donde se respetan las interrelaciones de los estados físicos, una tarea antes desafiante debido a los ruidosos errores de rollout. La innovación SEA en este contexto se postula como esencial, permitiendo a los transformadores absorber complejas relaciones de estados físicos intrínsecos con un enfoque renovado y eficaz.