El reciente desarrollo en modelos de tópicos ha traído consigo una metodología innovadora denominada CAST (Corpus-Aware Self-similarity Enhanced Topic Modelling). Esta técnica busca abordar algunas deficiencias de los métodos tradicionales, como LDA (Latent Dirichlet Allocation), mediante la incorporación de información contextual y auto-similitud para determinar las palabras representativas de un tema.
CAST ha sido presentado como un método eficaz para superar las limitaciones inherentes del modelo BOW (Bag of Words) que ignora el significado de las palabras y su contexto. A lo largo de varios años, este modelo ha sido un estándar; sin embargo, su ignorancia del orden de las palabras y su contexto semántico resultan en temas menos precisos.
Los investigadores han hecho hincapié en la importancia de utilizar técnicas de “embedding” como Word2Vec y BERT para capturar mejor la esencia de los documentos. Estos modelos ayudan a construir temas más coherentes y diversos que los métodos tradicionales. Por ejemplo, modelos como Top2Vec y BERTopic han empezado a integrar estos avances.
CAST introduce dos módulos novedosos: uno que contextualiza las palabras en función del corpus y otro que utiliza la auto-similitud para filtrar palabras funcionales poco relevantes. Esto se alinea con hallazgos en aprendizaje contrastivo que muestran que las auto-similitudes de las palabras funcionales son significativamente más bajas que las de las palabras tópicas.
Las evaluaciones realizadas por los creadores de CAST han mostrado que su método no solo mejora la coherencia de los temas generados sino también su capacidad para manejar datos ruidosos, demostrando un rendimiento superior en comparación con otros modelos tradicionales de vanguardia. Experimentos han confirmado que CAST es capaz de generar temas robustos incluso en contextos de datos ruidosos, como los extraídos de las redes sociales.
En conclusión, la implementación de CAST representa un avance notable en el modelado de temas, permitiendo que los análisis sobre grandes corpus de documentos sean más precisos y adaptativos, abriendo la puerta a investigaciones más profundas basadas en datos contextuales y señales semánticas.