La técnica de aprendizaje continuo online ha estado llamando la atención en el mundo de las redes neuronales. Este método permite que el modelo actualice su aprendizaje de manera continua sin perder la capacidad de recordar lo aprendido anteriormente. Sin embargo, uno de los retos más significativos que enfrenta es el presupuesto limitado tanto en términos de memoria como de procesamiento computacional. Es en este contexto que surge la investigación liderada por Minhyuk Seo y su equipo, quienes han propuesto un innovador enfoque para optimizar esta metodología al introducir nuevas herramientas que gestionan estos recursos de forma más eficaz.
Uno de los problemas más comunes es la variabilidad del presupuesto de memoria y computacional entre los diferentes algoritmos de aprendizaje continuo, que dificulta las comparaciones justas entre ellos. Para solventar esto, los investigadores han sugerido emplear las operaciones de punto flotante (FLOPs) como una métrica estándar de comparación del presupuesto computacional y el tamaño total de memoria en bytes para el almacenamiento.
Una estrategia novedosa presentada es la “congelación adaptable de capas”. Básicamente, se construye un criterio basado en la información que mide cuánto puede aprender cada capa con una mínima pérdida de precisión. Así, las capas que no contribuyen de manera significativa a la precisión en un determinado momento se ‘congelan’ para ahorrar recursos computacionales. Esta técnica ha demostrado no solo reducir las operaciones necesarias sino también mantener, e incluso en algunos casos mejorar, la precisión del modelo.
Además, el enfoque incluye un método de recuperación de memoria que optimiza el aprendizaje del modelo en menos iteraciones, asegurando un porcentaje casi insignificante de pérdida de precisión al menor costo computacional. Las pruebas realizadas en conjuntos de datos como CIFAR-10 y ImageNet han confirmado que estas técnicas superan a otros métodos de última generación bajo el mismo presupuesto.
En el contexto de aprendizaje continuo en línea, la estrategia de congelación de capas, basada en la ganancia máxima de información de Fisher, representa un salto cualitativo. Se observa que los métodos tradicionales requieren cálculos excesivos, mientras que la propuesta adapta dinámicamente las capas a congelar considerando la información contenida en cada lote de datos.