El avance en el desarrollo de modelos de lenguaje grande (LLM) ha traído consigo el desafío de comprender y cuantificar la incertidumbre en sus predicciones. Como reconocen Huang, Yang, Zhang y otros en su revisión, conocer cuándo un modelo opera fuera de su dominio de conocimiento puede mejorar la credibilidad de aplicaciones en las cuales las decisiones erróneas tienen un alto costo, como es el caso en el diagnóstico médico.
Pese a contar con marcos teóricos maduros en aprendizaje automático acerca de la estimación de incertidumbre, la aplicación a LLMs resulta problemática. Dos de las razones destacan: la inmensidad de parámetros que hace que las metodologías tradicionales para estimar incertidumbre sean computacionalmente prohibidas, y la opacidad inherente a los modelos comerciales de caja negra que dejan de lado la transparencia y no permiten acceso a los parámetros internos ni a la probabilidad de salida.
Con un enfoque más teórico, este trabajo busca categorizar los métodos de estimación de incertidumbre, introduciendo métodos de inferencia bayesiana, teoría de la información y estrategias de conjuntos para enfrentar el problema descripto. En particular, el enfoque de redes neuronales bayesianas (BNN) se basa en modelar la distribución de parámetros, aunque la complejidad asociada limita su uso, por lo que se necesita métodos aproximativos como MC Dropout o Deep Ensembles, que aunque eficaces en teoría, enfrentan problemas al escalarse para LLMs.
La estimación de la incertidumbre en teoría de la información analiza la entropía y, aunque requiere acceso a las probabilidades a nivel de token que los modelos tipo caja negra no suelen brindar, ofrece un marco de análisis robusto, especialmente si se usa un modelo proxy para su evaluación.
Por otro lado, se abordan los métodos de estimación de incertidumbre lingüística que permiten que los LLM expresen verbalmente su nivel de incertidumbre respecto a una consulta. A pesar de la tendencia a mostrar sobre confianza en sus respuestas, se destaca que usando técnicas de sondeo, como el Zero-Shot Chain of Thought, estos modelos pueden mitigar tal sobre confianza.
Finalmente, se enumeran diferentes aplicaciones prácticas posibles: desde la detección de datos fuera de distribución, que aprovecha la alta incertidumbre epistemológica a la hora de identificar tales datos, hasta la anotación activa, donde identificar las muestras más informativas para la anotación puede optimizarse dentro de un marco presupuestario razonable.
En resumen, aunque aún persisten desafíos significativos para aplicar con efectividad la estimación de incertidumbre a los LLMs, los avances y enfoques teóricos han comenzado a iluminar un camino que podría llevar a mejores y más confiables prácticas en la aplicación de estos modelos en el mundo real.