Investigadores de diversos centros universitarios han logrado avances significativos en la comprensión de textos largos mediante el mejoramiento de modelos de preentrenamiento de lenguaje-imagen, conocidos como LIP (language-image pre-training). Esta innovación es crucial, ya que los modelos actuales enfrentan dificultades al procesar textos largos, especialmente cuando las imágenes están acompañadas de pocas palabras. Uno de los aspectos innovadores de este proyecto incluye el uso de “corner tokens” para capturar mejor la información textual variada, lo que ha permitido a los modelos mejorar su rendimiento al procesar tanto textos largos como cortos.

Los científicos se propusieron primero reclasificar datos con leyendas más extensas, lo cual se observó inicialmente degradaba el entendimiento de textos breves. Sin embargo, mediante la integración de corner tokens, se logró ayudar al modelo a recuperar su nivel de comprensión original de textos cortos y, a la vez, potenciar significativamente su habilidad para entender textos largos. El equipo de investigación halló que al aumentar la longitud de las leyendas, se mejoró la alineación texto-imagen, aunque también existía un claro compromiso entre rendimiento y eficiencia.

Para validar la eficacia de su enfoque, crearon un extenso conjunto de datos de 100 millones de pares texto-imagen orientados a leyendas largas, en el cual lograron un incremento del 11.1% en la recuperación de imagen por texto largo frente a otros métodos competidores que utilizaban leyendas extensas.

El trabajo destaca la importancia de disponer de grandes conjuntos de datos de leyendas largas para mejorar la preentrenamiento de modelos multimediales, una tendencia cada vez más relevante en aplicaciones que requieren una comprensión matizada de descripciones textuales correspondientes a imágenes.