Investigadores de la Universidad de Tsinghua y el Instituto de Inteligencia Artificial de Shanghái han desarrollado un nuevo enfoque denominado Aprendizaje por Refuerzo con Priorización de Fundamentos (RLFP por sus siglas en inglés), que promete mejoras significativas en la forma en que los robots aprenden a realizar tareas complejas de manipulación. Este enfoque se destaca por su eficiencia y efectividad al proporcionar señales de aprendizaje automatizadas a los agentes, eliminando la necesidad de diseñar manualmente las funciones de recompensa, un proceso que tradicionalmente ha sido intensivo en datos y herramientas ingenieriles.

El equipo propuso utilizar modelos de fundamentos para guiar a los agentes mediante la retroalimentación proporcionada por las funciones de política, de valor y de recompensa de éxito. En el marco de RLFP, han introducido un algoritmo llamado Actor-Crítico Guiado por Fundamentos (FAC), que permite que los agentes exploren más eficientemente. Gracias a estos modelos, los robots fueron capaces de aprender y ejecutar cinco tareas de manipulación complejas en el mundo real, logrando una tasa de éxito promedio de 86% con solo una hora de entrenamiento en tiempo real.

En experimentos realizados en el entorno simulado de Meta-world, el algoritmo FAC alcanzó una tasa de éxito del 100% en siete de las ocho tareas propuestas en menos de 100,000 marcos. Este desempeño superó a métodos básicos que dependen de recompensas manualmente diseñadas tras 1 millón de interacciones.

Los investigadores destacan tres principales beneficios de su enfoque: eficiencia en la muestra, mínimo y efectivo diseño de recompensas, y una robustez al ruido en los modelos de fundamentos. Según el estudio, el marco RLFP tiene el potencial de facilitar que los robots exploren y aprendan de manera autónoma en el mundo físico, aumentando así su capacidad para enfrentarse a una variedad mucho más amplia de tareas.

El uso de modelos de fundamentos, que han demostrado ser exitosos en el procesamiento de lenguaje natural y visión por computadora, ha permitido adquirir un conocimiento previo significativo y detallado, que es esencial para mejorar el aprendizaje de los agentes. Este avance no solo es un salto importante para la robótica, sino que también subraya cómo la inteligencia artificial y los modelos de lenguaje y visión pueden proporcionar poderosas herramientas para la manipulación y el control robótico.