En un esfuerzo por evaluar y tratar los sesgos en los Modelos de Lenguaje Extenso (LLMs) en la toma de decisiones clínicas, investigadores del Centro de IA del Departamento de Ciencia Computacional de la Universidad College London han presentado un nuevo marco experimental. A partir de datos derivados del JAMA Clinical Challenge, han desarrollado un conjunto de Variaciones de Paciente Contrafactual y han puesto a prueba ocho LLMs para identificar, evaluar y mitigar sesgos relacionados con el género y la etnicidad.
Los resultados del estudio revelan que estos modelos, diseñados inicialmente para mejorar la toma de decisiones clínicas, tienden a mostrar sesgos inherentes asociados a los datos de entrenamiento, generando disparidades en los cuidados ofrecidos a pacientes de diversos orígenes. En particular, se observó que los LLMs tenían un 9% menos de probabilidades de recomendar pruebas avanzadas de imagen para pacientes afrodescendientes y un 8% menos de calificar las pruebas de esfuerzo como altamente importantes para las pacientes mujeres.
Para abordar estos sesgos, el equipo implementó un marco que incluye preguntas de opción múltiple y explicaciones correspondientes, evaluando tanto el proceso de respuesta como el de explicación. Encontraron que es crucial un enfoque multidimensional, ya que corregir un sesgo de género podría introducir otros en etnicidad, y que los sesgos varían significativamente entre especialidades médicas.
Para mitigar estos sesgos, se evaluaron diferentes métodos de ajuste fino y estrategias de sugerencia. Mientras que el ajuste fino demostró ser eficaz en algunos casos, también puede introducir sesgos adicionales, especialmente a nivel étnico.
El estudio concluye que las diferencias en sesgo de género y etnicidad en las LLMs exigen estrategias específicas adaptadas al contexto clínico en cuestión. A pesar de los desafíos, esta investigación sienta las bases para avanzar hacia una aplicación más equitativa de los LLMs en el ámbito de la salud, promoviendo un cuidado más justo y accesible para todos los grupos demográficos.