Científicos de la Universidad Tsinghua de Beijing han desarrollado un método innovador para mejorar la identificación de limitaciones de los modelos de aprendizaje profundo mediante el uso de imágenes adversariales generadas a través de modelos de conversión de texto a imagen. Estas imágenes, denominadas imágenes adversariales inducidas por lenguaje natural, se generan mediante técnicas que aprovechan modelos de texto a imagen comerciales, usando un algoritmo genético adaptativo para optimizar los prompts de entrada sin necesidad de gradientes.

El estudio, liderado por Xiaopei Zhu y su equipo, utilizó diferentes modelos de conversión de texto a imagen, incluyendo Midjourney y DALL·E 3. Se descubrió que introducir ciertas características semánticas adversariales, como condiciones climáticas en una imagen, puede inducir errores en los modelos de clasificación de imágenes. Los experimentos evidenciaron que terminologías como “brumoso” o “húmedo” figuraban frecuentemente en imágenes donde se producían clasificaciones erróneas.

Los resultados sugieren que esta técnica no sólo es efectiva con imágenes generadas sino también con fotografías tomadas del mundo real, donde los clasificadores de imágenes también demostraron vulnerabilidades ante información semántica crítica. Además, el método mostró capacidad de transferencia entre tareas, logrando aplicar las mismas distorsiones semánticas adversariales desde clasificación de animales a clasificación de razas humanas.

Investigaciones adicionales demostraron la posibilidad de transferir estas distorsiones semánticas a diferentes modelos de conversión de texto a imagen y distintos clasificadores de imágenes, incluyendo clasificadores entrenados robustamente contra ataques adversariales tradicionales.

En conclusión, el método innovador de crear imágenes adversariales a partir de lenguaje natural no solo promete una mejora significativa en la robustez de los modelos de aprendizaje profundo, sino que también subraya los desafíos de equidad y seguridad en la inteligencia artificial, demandando un enfoque más ético y responsable en el desarrollo de estas tecnologías.