La planificación de tareas en agentes basados en modelos de lenguaje a gran escala (LLMs) está avanzando como un área de investigación crucial en el camino hacia la inteligencia general artificial. Este proceso implica la descomposición de solicitudes complejas de los usuarios en subtareas concretas y solucionables, organizadas en un gráfico de tareas. Cada nodo representa una subtarea, mientras que los enlaces señalan las dependencias entre ellas.
Un hallazgo clave sugiere que las redes neuronales de gráficos (GNNs) pueden manejar mejor la toma de decisiones en gráficos, en contraste con los LLMs. Esto se debe a que los sesgos de atención y las pérdidas auto-regresivas en los LLMs pueden dificultar la identificación de la estructura del gráfico de tareas, llevando a lo que se denomina “alucinación” de nodos y enlaces inexistentes.
Los experimentos realizados demuestran que los métodos basados en GNN superan a las soluciones existentes incluso sin entrenamiento, y su rendimiento puede mejorarse aún más con un entrenamiento mínimo. Es especialmente interesante cómo el rendimiento mejora cuando se trabaja con gráficos de tareas más grandes.
Esta investigación también proporciona una nueva formulación teórica que muestra cómo incluso una Transformer de ancho constante es capaz de resolver problemas de decisiones en gráficos mediante la simulación de algoritmos de programación dinámica sobre listas de aristas.
El método propuesto utiliza un enfoque de aprendizaje sin entrenamiento de las GNN para seleccionar un camino o subgráfico conectado que satisfaga la petición del usuario. Además, se implementa un método de entrenamiento que incorpora un ranking personalizado bayesiano, lo que permite seleccionar subtareas relevantes basadas en los pasos detallados desglosados por los LLMs.
En conclusión, integrar GNNs con LLMs para la planificación de tareas no solo evita las alucinaciones mientras se mantiene la estructura del grafo, sino que también demuestra un notable impulso en el rendimiento general, indicando un camino prometedor para resolver los desafíos en la planificación de tareas complejas.