Investigadores de la Universidad de Boston y de Intuit AI Research han desarrollado un marco novedoso para la clasificación de contextos utilizando consultas hipotéticas generadas por Modelos de Lenguaje de Gran Tamaño (LLMs), sin necesidad de ajustar el modelo según el dominio específico. Este enfoque fusiona la similitud de las incrustaciones con las capacidades de los LLM, logrando mejorar el rendimiento del ranking en múltiples referencias.
Tradicionalmente, métodos como TF-IDF y BM25 utilizan similitudes léxicas para la clasificación. Sin embargo, los avances recientes en modelos de incrustaciones, como BERT, han permitido capturar la similitud semántica a través de representaciones vectoriales densas. No obstante, esta similitud no siempre captura adecuadamente la relevancia para consultas de usuarios. Aquí es donde las grandes ventanas contextuales de los LLMs encuentran limitaciones de escalabilidad, especialmente cuando el número de contextos candidato aumenta.
Para abordar este problema, los modelos recientes como Contriever, formados con técnicas de aprendizaje contrastivo, se han destacado por su rendimiento en cero disparos en contextos no vistos, aunque siguen centrando su enfoque en la similitud más que en la correspondencia efectiva de contextos con las consultas de usuarios. Los re-rankers basados en LLM, aunque potencialmente útiles, requieren un ajuste fino y demandan cuantiosos recursos computacionales y bases de datos extensas.
El nuevo marco propuesto por el equipo combina la eficacia de las incrustaciones preentrenadas con las hipotéticas consultas generadas, que se comparan después con la consulta del usuario. Se ha demostrado que este método mejora el rendimiento global de la clasificación a través de múltiples pruebas. Asimismo, se ha puesto a disposición el código completo y los datos en una plataforma abierta.
La evaluación de la relevancia del contexto para una consulta de usuario es crucial para el desempeño de los sistemas aumentados de recuperación de información. Clasificar con precisión la relevancia de los contextos asegura respuestas rápidas y precisas en tiempo real, minimizando las “alucinaciones” generadas por sistemas intuitivos, un desafío común en procesos complejos de datos.
Conclusiones como esta sugieren que el marco propuesto puede integrarse eficazmente con otros métodos de clasificación, permitiendo refinar iterativamente la clasificación de los contextos recuperados. Los resultados experimentales son prometedores y demuestran una mejora significativa en la precisión de clasificación en la mayoría de los puntos de referencia.