Investigadores de la Universidad China de Hong Kong han desarrollado un nuevo modelo de segmentación de imágenes llamado BYOCL, diseñado para abordar problemas de inconsistencia semántica en los modelos de segmentación de imágenes de entrada única. Este modelo, que parece haber demostrado un rendimiento superior en comparación con el modelo SAM en diversos experimentos, destaca por su capacidad para reducir significativamente el tiempo y el espacio necesarios al dividir las entradas en lotes más pequeños.
BYOCL utiliza un codificador de imágenes SAM para la extracción de características, seguido de algoritmos de procesamiento y agrupamiento intra-lote e inter-lote. Esta metodología ha permitido al equipo lograr resultados de segmentación que son consistentemente más semánticamente coherentes que los que ofrece el modelo SAM.
Uno de los aspectos más innovadores del BYOCL es que va más allá de los métodos de segmentación de imágenes previos, cubriendo las interrelaciones subyacentes entre diferentes escenas, asegurando que los resultados de segmentación se mantengan consistentes en imágenes de una misma área. Esto se logra mediante el uso de una arquitectura de modelos base sin necesidad de entrenamiento previo, lo cual es único en este método en particular.
Para llevar a cabo la segmentación, el proceso comienza con la asignación temporal de imágenes a lotes iguales. Luego, se utiliza el codificador SAM para extraer un espacio de características de 256 dimensiones de cada lote de imágenes. Esta matriz de características se reduce en dimensionalidad usando Análisis de Componentes Principales (PCA) antes de aplicar el método de k-means para el agrupamiento de los vectores de características reducidos.
En los experimentos realizados en los datasets de DAVIS y MOSE, BYOCL ha proporcionado una mejora tangible en términos de métricas comunes de evaluación como IOU, F1 y recall, asegurando una alta precisión en la segmentación a pesar de diferencias sutiles en las imágenes. Además, se realizaron comparaciones con SAM, donde BYOCL demostró ser más eficiente en el tiempo al completar la segmentación en menos de una hora, en comparación con las varias horas que requiere SAM.
En conclusión, el modelo BYOCL ofrece una solución robusta y eficiente para problemas de segmentación de imágenes y videos con un enfoque en reducir la inconsistencia semántica, destacándose no solo en el rendimiento sino también en la optimización de tiempo de procesamiento. Sin embargo, el modelo enfrenta desafíos en tareas de segmentación de múltiples objetos, un área donde no sobresale tanto como en la segmentación de imágenes individuales.