Un grupo de investigadores internacionales ha desarrollado un nuevo marco llamado Group Diffusion Transformers (GDTs) que unifica y amplifica tareas de generación visual. Este innovador sistema redefine estas tareas visuales convencionales, que históricamente han dependido de conjuntos de datos específicos y supervisados, al tratarlas como un problema de generación de grupos.

La esencia del GDT es la capacidad de generar un conjunto correlacionado de imágenes, utilizando un mínimo de modificaciones arquitectónicas sobre los transformadores de difusión tradicionales. Integrando tokens de autoatención a través de imágenes se logra captar implícitas relaciones entre imágenes —como identidades, estilos y entornos— sin necesidad de afinamiento por tarea específica.

El sistema fue evaluado en una amplia gama de 200 instrucciones distribuidas a lo largo de 30 tareas de generación visual distintas, tales como la creación de libros ilustrados, el diseño de fuentes, la transferencia de estilos y la generación de secuencias de dibujo. De forma notable, las capacidades de rendimiento en cero-shot alcanzadas por los GDTs destacan, dado que no requirieron ajustes adicionales de gradient ni supervisión directa durante el entrenamiento.

Como parte de su investigación, los científicos realizaron varios estudios de ablación que corroboraron la efectividad de componentes clave como el escalamiento de datos, el tamaño del grupo y el diseño del modelo. Además, se demostró que este marco tiene un potencial significativo para modelar sistemas de generación de imágenes a escala y de propósito general.

El enfoque de generación en grupo permite que los datos sean altamente escalables, aprovechando la vasta cantidad de datos multimodales que existen en internet. Gracias a este acceso y uso de datos libremente disponibles, el proceso de aprendizaje se simplifica, abriendo la puerta a una aplicabilidad más amplia.

A pesar de las prometedoras capacidades ya demostradas por los GDTs, los investigadores argumentan que aún existen oportunidades para mejorar en otros aspectos, tales como la calidad de las imágenes generadas comparadas con los modelos más avanzados de texto a imagen. También creen que disponiendo de un mayor volumen de datos grupales, podrían explotarse aún más las capacidades de los GDTs.

Las posibilidades de los GDTs vislumbran un futuro más eficiente en la generación de imágenes, ofreciendo un marco unificado que deja atrás las exigencias de diseños arquitectónicos específicos y conjuntos de datos exclusivos. La meta es expandir este marco incluso para la generación de vídeos multivista, explorando las dimensiones del tiempo y el grupo de forma simultánea.