La creciente producción de contenido por parte de modelos de lenguaje de gran escala ha despertado preocupaciones significativas en torno a la propiedad intelectual y el riesgo de reproducción de material con derechos de autor. Este fenómeno ha llevado a expertos de diversas instituciones como la Universidad de Princeton y la Universidad de Washington a desarrollar métodos para evaluar la viabilidad y las consecuencias de las medidas de eliminación de contenido protegido que estos modelos generan.

La primera propuesta de evaluación, conocida como CoTaEval, introduce una serie de métodos que buscan mitigar la generación de contenido que coincide sustancialmente con datos protegidos. Estos métodos incluyen desde indicaciones del sistema para prevenir la generación de contenido bloqueado, hasta la implementación de técnicas complejas como MemFree y R-CAD que activamente filtran o ajustan la generación de texto para evitar similitud excesiva con las fuentes protegidas.

La investigación descubrió que ninguna de las estrategias actuales logra un éxito contundente en todos los aspectos evaluativos. Si bien métodos como MemFree y el uso de Prompts del sistema presentan alguna ventaja en la reducción de contenido no deseado, aún enfrentan significativos desafíos y limitaciones, especialmente en contextos donde los modelos presentan similitud semántica elevada con los datos de entrenamiento bloqueados.

Integrar métodos de “unlearning” o desaprendizaje ofrece una alternativa prometedora. Sin embargo, estos métodos presentan complejidades inherentes y riesgos asociados a la pérdida significativa de conocimiento factual del contenido bloqueado, comprometiendo la utilidad general de los modelos. El impacto en la eficiencia computacional y la necesidad de una extensa búsqueda y calibración de hiperparametros colocan al proceso de desaprendizaje como una opción costosa en términos de recursos y tiempo.