El MMCS es un sistema innovador en el ámbito de la atención médica, diseñado para integrar análisis de imágenes médicas y reconocimiento facial para diagnósticos profesionales. Este sistema se compone de dos partes clave: el análisis de imágenes y videos médicos, y la generación de respuestas médicas a partir de bases de datos de conocimiento especializadas por departamento.

El análisis de imágenes y videos se realiza mediante un modelo multimodal avanzado, específicamente entrenado para evaluar emociones faciales y condiciones de parálisis. Este modelo logró una precisión del 72.59% en el reconocimiento de emociones en el dataset FER2013, y un notable 92% en el reconocimiento de parálisis facial, mejorando en un 30% en comparación al GPT-4o.

Para evaluar la gravedad de la parálisis facial, se desarrolló un analizador que evalúa la movilidad facial mediante la grada de un 83.3% de precisión en un conjunto de pruebas con 30 videos de pacientes. La capacidad del modelo para generar respuestas médicas se potencia a través de un modelo lingüístico de gran escala, que se integra con bases de datos médicas departamentales, mejorando la precisión de búsqueda en un 4% en diversas pruebas realizadas en el dataset MedQA.

Estos avances reflejan un gran potencial para ser una herramienta de valor en el diagnóstico médico, combinando análisis de imágenes de alta precisión con capacidades de diagnóstico profesional. En un futuro, se espera expandir este sistema a un rango más amplio de condiciones médicas, afinando el mecanismo de dirección de bases de datos para mejorar su precisión diagnóstica.