Investigadores del Centro Médico Langone de la Universidad de Nueva York han desarrollado MedMobile, un modelo de lenguaje de pequeño tamaño con 3.8 mil millones de parámetros. Este modelo ha sido diseñado para operar desde dispositivos móviles, contando con una capacidad de razonamiento clínico a nivel de experto. El modelo, basado en phi-3-mini, logra un 75.7% de precisión en el examen MedQA, superando la tasa de aprobación de 60% para médicos licenciados.
Uno de los principales atractivos de MedMobile es su habilidad para operar con costos de inferencia reducidos, beneficiándose del tamaño mucho menor en comparación con modelos gigantes cerrados como GPT-3.5. Para optimizar su rendimiento, el modelo fue afinado utilizando datos manuales y sintéticos elaborados a partir de textos médicos y del modelo GPT-4, logrando un razonamiento clínico mejorado a través de una técnica conocida como encadenamiento del pensamiento (CoT).
Los investigadores realizaron varios experimentos para evaluar las mejoras en la precisión del modelo, revelando que técnicas como CoT, la combinación de respuestas y el afinamiento supervisado desempeñaron papeles clave. Curiosamente, a pesar del éxito de otras técnicas en LMs más grandes, la generación aumentada por recuperación no proporcionó mejoras sustanciales en este contexto.
MedMobile muestra ventajas significativas sobre otros modelos abiertos de menos de 5 mil millones de parámetros, superando ampliamente el estándar anterior, VOD, con su precisión en el MedQA y comparándose bien con modelos mucho mayores. Esta capacidad de obtener respuestas clínicas fundamentadas ha llevado a MedMobile a ser el primer modelo de su tamaño en aprobar cuestiones similares al USMLE.
Asimismo, se destacó que no todas las técnicas de optimización funcionaron para MedMobile. Estrategias como el prompting de varios ejemplos y la generación aumentada por recuperación no ofrecieron mejoras notables, lo cual los investigadores atribuyen a las limitaciones en la longitud de la ventana de contexto de modelos pequeños.
Un aspecto notablemente llamativo de MedMobile es su potencial para facilitar el acceso a tecnología avanzada de LM en entornos con recursos limitados, gracias a sus bajos requisitos computacionales y tiempos de inferencia rápidos. Esto podría democratizar el acceso al uso de modelos de lenguaje de alto desempeño más allá de las grandes corporaciones tecnológicas, llevándolo incluso a aplicaciones más amplias fuera del ámbito médico.
En conclusión, MedMobile representa un avance clínicamente significativo al permitir el acceso a un asistente clínico certificado a nivel de junta directamente desde la palma de la mano. El potencial para usar MedMobile en sistemas multi-LM y la posibilidad de integrarlo con modelos de lenguaje para visión abren un mundo de posibilidades para la tecnología en el sector salud.