En un esfuerzo por democratizar la generación de imágenes a través de bocetos, investigadores de la Universidad Estatal de Ohio han desarrollado un modelo denominado KnobGen. Este innovador enfoque busca mejorar los métodos de generación de imágenes basados en bocetos, superando las limitaciones de precisión y control de modelos actuales como ControlNet y T2I-Adapter, que suelen replicar detalles no intencionados en bocetos de usuarios menos experimentados.

KnobGen introduce un marco de doble vía, integrado por un Controlador de Granulometría (CGC) y un Controlador de Granulometría Fina (FGC), que permite manejar tanto bocetos de artistas experimentados como dibujos básicos de novatos. Lo novedoso de este modelo es su mecanismo de “knob” o “perilla”, que ajusta la intensidad con la que cada controlador interviene en la creación de la imagen. Esto garantiza que la imagen final conserve una apariencia natural y cumpla con las expectativas del usuario.

Una de las contribuciones clave de KnobGen es su capacidad de adaptarse a diversos niveles de complejidad de los bocetos y habilidad del usuario. Desde el primer paso de la creación hasta el último, se ajusta dinámicamente, permitiendo mayor control en la estética del resultado. Esta capacidad se probó en conjunto con el conjunto de datos MultiGen-20M y un nuevo conjunto de bocetos recopilados, validando su eficacia en diversas circunstancias.

El modelo aborda el desafío de la falta de alineación espacial en algunos métodos de difusión actuales, que a menudo no captan adecuadamente la intención del usuario. KnobGen propone dos vías de entrenamiento e inferencia, denominadas Vía Macro y Vía Micro, que permiten tanto la abstracción de alto nivel como el detallado refinamiento. El desarrollo del módulo Modulator asegura que no haya un exceso de enfoco en los detalles finos durante las etapas iniciales del entrenamiento.

Con esta tecnología, se logra equilibrar la generosidad en el manejo de errores de los novatos y la precisión en la reproducción de detalles de los artistas, resultando en un sistema de imagen adaptativo. Esta iniciativa representa un avance significativo en la generación de imágenes, favoreciendo la creatividad sin poner barreras tecnológicas al usuario.

El enfoque dual-pathway y la integración de características textuales con visuales en un espacio multimodal, permiten que KnobGen configure un estándar equilibrado para la generación de imágenes a partir de bocetos. Al finalizar, este modelo no sólo hace posible la creación de imágenes con diversos grados de detalle sino también abre un abanico de posibilidades creativas más accesibles a un público más amplio.