Un equipo internacional de investigadores, liderado por DeepWisdom, ha presentado un avance notable en el campo del Machine Learning Automatizado (AutoML). Han desarrollado el SELA, un sistema de agentes basado en el uso de Modelos de Lenguaje de Gran Tamaño (LLM) y una búsqueda mejorada mediante Monte Carlo (MCTS). Este sistema se centra en optimizar procesos en el aprendizaje automático de manera más eficiente que los métodos tradicionales de AutoML.
Al estructurar configuraciones de pipelines de aprendizaje como árboles, SELA posibilita que los agentes conduzcan experimentos de forma iterativa, afinando las estrategias constantemente. Este enfoque novedoso aprovecha la retroalimentación experimental para descubrir rutas óptimas en la solución de problemas de machine learning. Una evaluación extensa en 20 conjuntos de datos mostró que SELA supera a métodos tradicionales entre el 65% y el 80% de las veces.
El marco SELA está diseñado para simular el enfoque de resolución de problemas de expertos humanos, al dividir el proceso en diferentes etapas que incluyen el Análisis de Datos Exploratorio, la Preprocesamiento de Datos, la Ingeniería de Características y el Entrenamiento del Modelo. En cada una de estas etapas, SELA aplica mecanismos de refinamiento iterativo para mejorar continuamente sus soluciones.
SELA compara favorablemente con sistemas AutoML tradicionales y con otros métodos basados en agentes, al equilibrar adecuadamente la exploración de nuevas estrategias con la mejora de las ya conocidas.
Uno de los aspectos más impresionantes de SELA es su habilidad para adaptarse a múltiples tareas de machine learning de manera eficiente, lo que demuestra su potencial para abordar desafíos complejos en el área. La integración de la búsqueda por árbol con los LLM no solo ha mejorado la eficacia, sino que también ha brindado flexibilidad y control durante el proceso de búsqueda.
Con estas capacidades, SELA se posiciona como una herramienta poderosa para la automatización de procesos de machine learning, mostrando su gran potencial en la solución de problemas complejos y dinámicos de datos. Este método representa un paso significativo hacia el futuro del aprendizaje automático, donde los sistemas autónomos no solo alcanzan resultados competitivos sino que lo hacen con una mínima intervención humana, ahorrando tiempo y recursos significativos.