Los avances en el aprendizaje automático han buscado replicar el complejo proceso de aprendizaje humano, pero uno de los retos más desafiantes ha sido superar el “catastrophic forgetting” en las redes neuronales artificiales. Este fenómeno se refiere a la pérdida de la capacidad para recordar tareas aprendidas anteriormente cuando se adquieren nuevas habilidades. Investigadores de la Universidad McGill han presentado un nuevo enfoque llamado SNAP que promete mitigar este problema en el marco del aprendizaje Hebbiano.
El SNAP, o Plasticidad Adaptativa Neuronal Sigmoide, aspira a imitar el proceso de Potenciación a Largo Plazo (LTP) que ocurre biológicamente en nuestro cerebro. Este enfoque introduce una modificación en la forma en que se adaptan los pesos sinápticos en las redes neuronales, promoviendo un crecimiento sigmoide que permite que los pesos se estabilicen una vez alcanzan límites grandes o pequeños, algo que los métodos lineales o exponentes no logran efectivamente.
Los investigadores han comparado el crecimiento sigmoide de los pesos con el crecimiento lineal y exponencial en distintas configuraciones de red. Los resultados han mostrado que SNAP puede prevenir por completo el olvido catastrófico en los modelos de aprendizaje Hebbiano, lo cual no ocurre con los modelos basados en el descenso del gradiente estocástico (SGD).
Utilizando datasets conocidos como MNIST y FashionMNIST, los experimentos han demostrado que, bajo condiciones de aprendizaje secuencial, el crecimiento sigmoide ofrece sustanciales mejoras. En estas pruebas, los modelos Hebbianos con SNAP obtuvieron altos aciertos al enfrentarse a Secuencias de Tareas, donde se demostraron como los más eficaces para retener la información aprendida a través de las etapas de consolidación.
Este enfoque innovador proporciona una alternativa prometedora y más alineada con la biología para abordar el problema del aprendizaje continuo, una habilidad intrínsecamente humana que las máquinas aún buscan replicar eficientemente. Sin embargo, aunque SNAP mejora significativamente el aprendizaje en redes Hebbianas, no logra el mismo efecto en redes entrenadas con SGD, donde solo retrasa ligeramente el olvido.
Es fascinante observar cómo este nuevo paradigma se acerca a resolver un reto anunciado hace décadas en el aprendizaje de máquinas. Si bien SNAP brilla especialmente para el aprendizaje Hebbiano, la investigación futura podría enfocarse en su adaptación eficaz para modelos basados en SGD, ampliando así su aplicabilidad en el ámbito del aprendizaje profundo.