La reciente y vertiginosa evolución de los modelos de lenguaje grande (LLM por sus siglas en inglés) ha dejado a muchos boquiabiertos, no solo por las capacidades y retos que enfrentan, sino por la posibilidad de que estos modelos descubran algoritmos para superarse a sí mismos. El avance más reciente viene del marco

Self-Developing, diseñado para que los LLM no solo se mejoren iterativamente, sino que lo hagan con algoritmos que ellos mismos descubren.

En el núcleo del desarrollo de

Self-Developing se encuentra la interacción entre un ‘modelo semilla’ y una ‘fábrica de algoritmos’. El proceso comienza con la fábrica generando código Python para algoritmos de mejora del modelo. A continuación, estos algoritmos son aplicados al modelo semilla, cuyo desempeño es evaluado para determinar la efectividad del código generado.

Los resultados son prometedores: los algoritmos descubiertos por los LLM han superado a métodos humanos conocidos, logrando mejorar el modelo semilla en hasta un 6% en tareas de razonamiento matemático y mostrando una sobresaliente transferibilidad a modelos fuera de su dominio. En las pruebas para el desafío GSM8k, el enfoque superó a métodos consagrados como el Task Arithmetic por un margen considerable.

Otros aspectos destacables incluyen el uso iterativo de mejoras que refina tanto el modelo semilla como la fábrica de algoritmos. Esta dinámica ha permitido a los LLM no solo igualar, sino superar la creatividad y el conocimiento humano en la generación de soluciones, completando así un circuito de mejora continua que redefine el paradigma de la inteligencia artificial.