Un reciente estudio realizado por investigadores de la Universidad Tecnológica de Nanyang en Singapur ha revelado el potencial de los Modelos de Lenguaje Amplios (LLMs) como clasificadores de falacias en situaciones de cero-disparo. Los investigadores buscaron evaluar la capacidad de los LLMs para eludir los entrenamientos supervisados tradicionales y clasificar falacias sin necesidad de datos previamente etiquetados.
El estudio destaca las diversas limitaciones de las clasificaciones de falacias supervisadas hasta la fecha: tiempo y costos involucrados en la recolección de datos etiquetados, el desafío de la generalización fuera de la distribución y la dificultad impuesta por el desequilibrio de los datos. Frente a estas complicaciones, los investigadores apostaron por el uso de LLMs entrenados a gran escala, capaces de desempeñar razonamientos complejos y poseer un conocimiento amplio.
Para poner a prueba las habilidades de los LLMs, los académicos emplearon tanto esquemas de un solo impulso como esquemas de múltiples impulsos, diseñados para despertar las capacidades de razonamiento y el conocimiento de los LLMs sobre falacias. Los experimentos revelaron que los LLMs lograron rendimientos aceptables en el cero-disparo comparables e incluso superiores a los mejores modelos basados en disparos completos en escenarios abiertos y de inferencia fuera de la distribución.
Especialmente innovadores resultaron los esquemas de múltiples impulsos que permitieron a los LLMs pequeños obtener mejoras significativas en el rendimiento, desafiando así el predominio de los modelos entrenados en su totalidad sobre datos etiquetados. Estos resultados concluyen que no sólo el enfoque de cero-disparo es viable, sino que también puede ser más eficiente y menos costoso.
Los ejemplos presentados en su figura de estudio muestran la diversidad de discursos donde las falacias pueden estar presentes, como en artículos de noticias, debates políticos y comentarios en redes sociales. Esta diversidad subraya la relevancia de desarrollar modelos que detecten y clasifiquen falacias con más eficiencia, demandando ya no sólo entrenamiento y aptitudes de aprendizaje supervisado, sino también modelos que emulen el razonamiento humano partiendo de cero.
Aunque el camino hacia la implementación definitiva de LLMs como clasificadores de falacias en cero-disparo todavía demanda refinamientos, este estudio pionero deja claro el potencial de los LLMs para transformar la manera en que las falacias son identificadas, ofreciendo una nueva avenida para investigaciones futuras en procesamiento del lenguaje natural.