En el campo del diseño gráfico y la generación tridimensional, la creación de activos 3D a partir de descripciones textuales persiste como uno de los retos más formidables. La escasez de datos 3D ha llevado a que las aproximaciones más avanzadas recurran a modelos de difusión 2D preentrenados para optimizar las representaciones 3D. Este proceso, conocido como Score Distillation Sampling (SDS), ha avanzado significativamente en la representación de complejas escenas tridimensionales. Sin embargo, la elaboración de escenas 3D complejas con múltiples objetos o interacciones intrincadas sigue siendo un desafío significativo para la comunidad investigadora.
Recientemente, métodos han intentado integrar guías de diseño con soporte de cajas o distribuciones para mejorar el control compositivo. Sin embargo, estas técnicas guían el SDS de manera burda, carentes de la expresividad necesaria para asegurar escenas de alta calidad con interacciones precisas entre los distintos elementos. Por lo tanto, surge la necesidad de un enfoque superior que pueda superar estas limitaciones.
El equipo de investigadores de Peking University y University of Oxford, liderado por Ling Yang y Zixiang Zhang, ha introducido un novedoso método SDS llamado Semantic Score Distillation Sampling (S EMANTIC SDS). Este enfoque innovador mejora significativamente la expresividad y la precisión en la generación compositiva de 3D a partir de texto, integrando nuevas incrustaciones semánticas que son consistentes a través de diferentes vistas de renderización y distinguen claramente entre diferentes objetos y componentes.
Mediante la creación de un mapa semántico que dirige el proceso SDS por regiones, el método posibilita una optimización precisa y una generación efectiva. Las incrustaciones semánticas proporcionan una guía explícita, desbloqueando las capacidades compositivas de modelos de difusión preentrenados, lo que se traduce en una calidad superior del contenido 3D generado, especialmente en objetos y escenas complejas.
Los resultados experimentales demuestran que el marco S EMANTIC SDS es altamente efectivo, estableciendo nuevos estándares en la calidad de generación de contenido 3D, por encima del estado del arte. En conclusión, este avance no solo aborda las limitaciones de métodos actuales sino que también establece una base sólida para innovaciones futuras en generación 3D, ofreciendo un camino prometedor hacia creaciones más dinámicas y precisas en el ámbito gráfico.