Investigadores de la Universidad de Oulu, la Universidad Americana en El Cairo y la Universidad de El Cairo han desarrollado MIRA, un novedoso método para el aprendizaje federado multitarea en grandes modelos de lenguaje (LLMs). Este enfoque innovador tiene como objetivo mejorar la personalización de modelos a través de la colaboración entre distintos clientes, quienes comparten la misma arquitectura de modelo pero tienen tareas personalizadas.
MIRA se centra en optimizar la afinación de prompts utilizando una técnica llamada Low-Rank Adaptation (LoRA), la cual eficientemente reduce el número de parámetros entrenables, enfrentando de esta manera las limitaciones de las arquitecturas LLMs convencionales que demandan una gran capacidad computacional. Mediante este enfoque, el sistema permite a cada cliente mejorar su modelo local mediante ajustes sobre matrices de baja dimensión, manteniendo congelada la matriz de pesos original.
La técnica de MIRA permite el entrenamiento colaborativo sin comprometer la privacidad de los datos locales de los usuarios. El algoritmo realiza iteraciones locales y globales, donde las primeras se llevan a cabo individualmente por cada cliente para adaptar el modelo a su conjunto de datos, mientras que las segundas buscan maximizar la similitud entre modelos de clientes con tareas afines.
Los resultados experimentales sobre los conjuntos de datos Natural Instructions y Dolly-15k, utilizando modelos Data-Juicer y GPT2-large, demostraron que el método supera a otros esquemas de sintonización federada, estableciendo una mejor eficiencia en la comunicación y un menor coste computacional. El uso de LoRA, al reducir considerables costos de memoria y comunicación, permitió una adaptación eficaz para tareas específicas de los clientes.
Comparando el rendimiento individual entre diferentes tareas abordadas por clientes seleccionados, MIRA mostró un menor núcleo local de pérdida respecto a sus competidores, destacando su capacidad para adaptarse a las particularidades de cada tarea. Esto sugiere que el enfoque federado multitarea propuesto no solo promueve la eficiencia en situaciones heterogéneas, sino que también respalda una aplicación más efectiva y adaptable de modelos de lenguaje a escenarios del mundo real.
MIRA representa una prometedora tecnología para la mejora de LLMs en sistemas distribuidos, ofreciendo un equilibrio entre personalización del modelo y eficiencia en recursos, asegurando así el progreso hacia aplicaciones más sofisticadas y personalizadas en el proceso de aprendizaje automático.