Un equipo de investigadores de Google DeepMind, en colaboración con MIT, ha desarrollado un novedoso enfoque para el aprendizaje multiagente denominado Juegos de Markov Convexos (cMG). Este enfoque promete revolucionar cómo interactúan múltiples agentes en un entorno compartido, encarando desafíos como la equidad, la imitación y la creatividad en sus decisiones.

Los Juegos de Markov Convexos ofrecen un marco general que permite preferencias convexas sobre medidas de ocupación a lo largo del tiempo, lo cual los distingue de los juegos de Markov tradicionales. Una de sus características más destacadas es la posibilidad de encontrar equilibrios de Nash de estrategia pura bajo utilidades estrictamente concavas, algo que se había considerado complicado hasta ahora en estos entornos.

El equipo desarrolló experimentos ilustrativos que incluyen juegos clásicos como el dilema del prisionero iterado y el juego del ultimátum, mostrando cómo estos algoritmos pueden imitar las decisiones humanas mientras mejoran la satisfacción del jugador y son menos explotables. En particular, el algoritmo fue capaz de encontrar un perfil de políticas que radicalmente mejoraron la utilidad por jugador en el dilema del prisionero, siendo 1000 veces menos explotables.

Los investigadores proponen utilizar medidas de ocupación - distribuciones a largo plazo de estados y acciones - como un elemento crucial. Al definir funciones de utilidad estrictamente cóncavas sobre estas medidas, los juegos logran fomentar la distribución justa de recursos y un juego más humano y creativo.

El enfoque teórico está respaldado por demostraciones formales de la existencia de equilibrios y una metodología para aproximarlos con eficacia gracias al descenso de gradiente sobre un límite superior de explotabilidad. En experimentos, este sistema demostró la capacidad de las cMG para generar equilibrios que son creativos y más justos, imitando a los humanos en juegos repetidos de coordinación asimétrica.

Como conclusión, los Juegos de Markov Convexos constituyen una plataforma poderosa para el aprendizaje multiagente, abordando la necesidad de decisiones más equitativas e inteligencia artificial que pueda imitar y aprender de tácticas humanas. Con potencial para aplicaciones en diversos campos, cMGs abren el camino a desarrollos futuros en entrenamientos descentralizados y entornos con dinámicas de transición desconocidas, sugiriendo una evolución significativa en la inteligencia artificial y su acercamiento a la toma de decisiones humanas.