En la búsqueda por desentrañar las capacidades de comprensión y razonamiento de los modelos de lenguaje visual (VLM), los investigadores han dado un nuevo paso al plantear tres tareas novedosas dirigidas a evaluar cómo estos modelos abordan la comprensión de imágenes persuasivas y atípicas. Estas imágenes que a menudo desafían la convencionalidad juegan un papel crucial en la publicidad, destacándose por su capacidad para generar mensajes memorables y a menudo más rentables que los anuncios tradicionales.

Dentro del marco de esta investigación, se han identificado cuatro categorías de atipicidad, las cuales incluyen la sustitución de texturas y la reubicación de objetos, y con estas se han desarrollado las tareas de Clasificación Multietiqueta de Atipicidad, Recuperación de Declaración de Atipicidad y Reconocimiento de Objetos Atípicos. Estas pruebas no solo exploran la habilidad de los VLM para identificar los elementos inusuales en las imágenes, sino también para relacionarlos semánticamente, comprendiendo su impacto en el contenido persuasivo de un anuncio.

El estudio pone en evidencia que aunque los VLM han demostrado capacidades sorprendentes en otros ámbitos, todavía quedan cuestiones por resolver en el contexto particular de los anuncios persuasivos que emplean atipicidad. Los modelos más contemporáneos como LLaVA han mostrado carencias en el razonamiento profundo frente a modelos de lenguaje más avanzados (LLM), en tareas que requieren de un entendimiento más analítico y contextual.

Como parte del proceso de evaluación, el estudio utilizó descripciones minuciosas de imágenes generadas por los modelos VLM combinadas con técnicas de extracción que resaltan elementos inusuales y atípicos, logrando construir un tejido descriptivo más enriquecido para la evaluación de los LLM. Sin embargo, a medida que se complica el contexto con opciones negativas semánticamente desafiantes, se evidencia una caída en el desempeño de los VLM, reflejando que el desafío para estos sistemas radica en trascender el reconocimiento visual básico hacia un nivel de razonamiento más abstracto y simbólico.

Con todo, el estudio refuerza la importancia de continuar desarrollando enfoques que fomenten la comprensión persuasiva en los sistemas de inteligencia artificial, proporcionando un sustrato para optimizar la eficiencia y creatividad en la publicidad visual y otros medios persuasivos complejos.