La transición de modelos generativos de inteligencia artificial desde entornos virtuales hacia máquinas autónomas con capacidades físicas presenta tanto oportunidades como desafíos significativos en materia de seguridad. Investigadores de la Universidad de Harvard han analizado cómo estos modelos, anteriormente populares en bots conversacionales y generadores de imágenes, ahora integran sistemas de agencia física, como coches autónomos, incrementando las preocupaciones de seguridad ya existentes y presentando nuevos retos como el olvido catastrófico, la falta de garantías formales y la limitación de procesamiento en tiempo real.
La implementación de inteligencia artificial generativa en máquinas autónomas ha sido vista como un cambio de paradigma potencialmente revolucionario, destinado a resolver problemas anteriormente considerados inabordables. Sin embargo, este avance no está exento de riesgos. Entre los más prominentes encontramos las alucinaciones generadas por modelos lingüísticos, donde el sistema podría generar información plausible pero errónea y potencialmente peligrosa. Un ejemplo de esto sería un asistente robótico que suponga erróneamente que una estufa está apagada cuando no lo está, lo cual podría resultar en accidentes serios.
Los problemas asociados con el olvido catastrófico son particularmente preocupantes en sistemas finamente ajustados para tareas específicas. Las actualizaciones para mejorar estas capacidades pueden suponer la pérdida de información importante que podría ser crítica en situaciones de riesgo. Igualmente, la necesidad de capacidad de procesamiento en tiempo real representa un reto para los modelos de difusión usados en planificación de movimientos, que a menudo no cumplen con los requisitos de tiempo crítico necesarios en situaciones reales.
Estas preocupaciones se agravan cuando se consideran las demandas de recursos que requieren estos sistemas, limitando su aplicación práctica en dispositivos de borde que mantienen bajas capacidades de memoria y potencia. Los esfuerzos para mitigar estos riesgos incluyen la recomendación de desarrollar tarjetas de evaluación de seguridad, que permitan una valoración rápida de los riesgos cuando se aplican estos modelos de IA en sistemas autónomos.
El despliegue seguro de IA generativa en máquinas autónomas no solo requiere innovaciones tecnológicas, sino también un enfoque robusto hacia la gestión de riesgos. Esto podría incluir el uso de técnicas de control híbrido para garantizar la estabilidad y seguridad, la integración de retroalimentación humana en tiempo real para mitigar errores, y la fidelidad en los métodos de razonamiento de modelos lingüísticos para limitar las alucinaciones. En conjunto, se necesita un enfoque interdisciplinario para asegurar que las potentes capacidades de la IA generativa se apliquen de forma segura.