Un equipo de investigadores de Apple y la Universidad de Washington ha avanzado en el camino hacia la creación de agentes de inteligencia artificial (AI) más seguros mediante el desarrollo de una taxonomía para evaluar las consecuencias de las operaciones de la interfaz de usuario (UI). En un esfuerzo conjunto, Zhuohao Zhang, Eldon Schoop, y Jeffrey Nichols, entre otros, han trabajado para categorizar los impactos de acciones de UI con la meta de mejorar la comprensión de los agentes AI sobre las consecuencias de estas acciones.

Los investigadores llevaron a cabo varios talleres con expertos en el ámbito de modelos de lenguaje de gran escala (LLMs) para crear y refinar una taxonomía que clasifica los impactos de las acciones de UI en distintas categorías. Durante estos ejercicios, se consideraron aspectos tales como cambios visuales en la UI, cambios en los activos físicos o virtuales del usuario, la reversibilidad de las acciones, y cómo las acciones pueden afectar a otros usuarios o a la percepción social del usuario. Estas consideraciones son esenciales para permitir que los agentes AI tomen decisiones más informadas sobre las acciones que deben automatizarse y las que necesitan la intervención o confirmación humana.

Además del desarrollo de esta taxonomía, se llevó a cabo un estudio de síntesis de datos con el objetivo de reunir trazas de acción de UI realistas que podrían tener consecuencias de impacto en el mundo real. Este estudio destacó que los conjuntos de datos de UI existentes, como MoTIF y AndroidControl, frecuentemente contienen acciones de navegación sin impacto real. El nuevo conjunto de datos obtenido en el estudio fue marcado utilizando la nueva taxonomía y se comparó con modelos de lenguaje para evaluar su comprensión del impacto de las acciones de UI.

El estudio concluyó que los LLMs actuales, aunque muestran una capacidad de razonamiento adecuada en algunas categorías, aún enfrentan desafíos cuando se trata de comprender las repercusiones de acciones de UI más complejas o matizadas. Los modelos tendieron a sobredimensionar el impacto de ciertas acciones, lo cual podría llevar a la sobrecarga de los usuarios con confirmaciones innecesarias.

En conclusión, el desarrollo de esta taxonomía representa un avance significativo hacia la creación de agentes AI más seguros y responsables. Sin embargo, los hallazgos también resaltan la necesidad de seguir investigando cómo estos modelos pueden captar mejor el contexto y las consecuencias potenciales de las acciones de la UI, optimizando así la interacción entre la inteligencia artificial y los usuarios humanos.