La técnica de minimización consciente de la agudeza (SAM, por sus siglas en inglés) está ganando reconocimiento como un optimizador eficaz que mejora la generalización en diversas aplicaciones de aprendizaje profundo, tanto en visión como en lenguaje. A diferencia de lo que se pensaba anteriormente, sus efectos van más allá de regular la agudeza de las soluciones encontradas. En situaciones de optimización de problemas de escala invariante, SAM introduce una nueva métrica denominada equilibrio, que se define por la diferencia entre las normas cuadráticas de dos variables.

El equipo de investigación, compuesto por Bingcong Li, Liang Zhang y Niao He de ETH Zurich, ha destacado que SAM no solo favorece soluciones más equilibradas, sino que también es más efectivo en presencia de anomalías de datos, como los outliers. Estas anomalías tienden a influir más fuertemente en el equilibrio proporcionado por SAM, lo que coincide con observaciones de que supera al algoritmo de descenso de gradiente estocástico (SGD) en escenarios con altos niveles de ruido.

De manera revolucionaria, al comprender esta regularización implícita, los investigadores han desarrollado una variante de SAM conocida como regulación consciente del equilibrio (BAR), que está diseñada específicamente para problemas de escala invariante como el ajuste fino de modelos de lenguaje utilizando LoRA. BAR logra una impresionante reducción del 95% de la sobrecarga computacional de SAM, además de mejorar el rendimiento en pruebas para diversas tareas utilizando modelos como RoBERTa y OPT-1.3B.

El estudio también destaca que Sam presenta un comportamiento sensible a los datos, promoviendo un equilibrio más rápidamente en condiciones de ruido elevado (baja relación señal-ruido). Estos hallazgos no solo han permitido optimizar más eficientemente modelos de lenguaje, sino que también han abierto nuevas oportunidades para comprender el comportamiento global de SAM más allá de sus aplicaciones iniciales.