Recientemente, un innovador acercamiento hacia la compresión de video facial generativo, conocido como GFVC, ha surgido bajo la batuta de un equipo especializado, el JVET, en un intento de elevar la calidad del video a través de mensajes de información suplementaria (SEI). Este cambio promete optimizar la representación de señal de video usando puntos clave 2D/3D, semánticas faciales y características compactas, todo codificado dentro de estos mensajes SEI y adherido al bitstream de video codificado.

En el último año, se han establecido condiciones de prueba y herramientas de software para el GFVC gracias a un grupo ad-hoc del JVET, lo que confirma su potencial de estandarización dentro de tecnologías consideradas para futuras extensiones del estándar VSEI. Este enfoque no solo mejora la reconstrucción de videos faciales, sino que también abre un abanico de funcionalidades, permitiendo aplicaciones relacionadas con el metaverso y animaciones especificadas por el usuario.

Una de las características más impactantes de este enfoque es su capacidad de combinar de forma casi perfecta las características del GFVC con los bitstreams codificados de codecs de video híbridos tradicionales sin modificar los codificadores y decodificadores normativos. Las evaluaciones han mostrado que el sistema SEI-GFVC supera en rendimiento de compresión-rendimiento al último estándar VVC, proponiendo una mejora notable en la calidad de compresión.

Las simulaciones indican que el enfoque propuesto puede llevar a un rendimiento prometedor para videos faciales en resoluciones más altas, como 512x512, principalmente porque los parámetros faciales enviados a través de los mensajes SEI son insignificantes en comparación con los cuadros base VVC codificados.

Más allá de mejorar la comunicación de video en ultra-bajo bitrate, este sistema facilita animaciones del usuario e interacciones relacionadas con metaverso, añadiendo una capa de flexibilidad antes no vista en codecs estándar.

En conclusión, el impulsor real detrás del desarrollo de este nuevo enfoque es el deseo de mejorar la calidad de video y la versatilidad de las aplicaciones sin impactar demasiado en la estructura de los flujos de trabajo actuales. Como resultado, esta propuesta podría inspirar el desarrollo de futuras tecnologías de codificación de video generativo, facilitando una nueva era en la comunicación visual.