Innovadoras técnicas de optimización de modelos han permitido reducir las demandas de almacenamiento y computación asociadas a los Grandes Modelos de Lenguaje (LLMs).

Investigadores del Laboratorio Nacional Argonne y de la Universidad de Emory han presentado FedSpaLLM, un marco de aprendizaje federado para recortar LLMs, conservando la privacidad de los datos. Esta plataforma surge como respuesta a las dificultades para desplegar LLMs en aplicaciones sensibles debido a sus altos requerimientos de procesamiento.

Los experimentos han demostrado que FedSpaLLM mejora significativamente la eficiencia del recorte. Destaca por implementar un novedoso método de agregación basado en la ℓ0-norma, lo que permite simplificar los modelos sin perder precisión. Además, gracias a una técnica de expansión adaptativa de máscaras, se logra alcanzar los objetivos de esparcidad global manteniendo la personalización del modelo para cada cliente.

FedSpaLLM también juega con la selección de capas, lo cual reduce la sobrecarga de comunicación. Esta estrategia permite que los clientes ajusten sus modelos de manera personalizada según su capacidad de computación, lo cual se refleja en la eficiencia y rendimiento del modelo en ambientes heterogéneos.

El método no solo capitaliza las ventajas de la reducción de modelos, sino que establece un precedente para futuras aplicaciones de machine learning en entorno federado, sugiriendo que es posible mantener el equilibrio entre eficiencia computacional y privacidad de datos.

En conclusión, FedSpaLLM no solo representa un avance para el campo de modelado con LLMs, sino que también abre nuevas avenidas para futuras investigaciones sobre compresión de modelos en contextos de aprendizaje federado.