El reciente marco COMPL-AI introduce un enfoque técnico para la interpretación del Acto de Inteligencia Artificial de la Unión Europea, centrado principalmente en modelos de lenguaje de gran escala (LLMs). Este marco tiene como objetivo transformar los requisitos regulatorios generales en especificaciones técnicas medibles, impulsando así un desarrollo responsable y equilibrado de estas tecnologías.

El estudio se encargó de evaluar 12 modelos LLM destacados para determinar su conformidad con aspectos como la robustez técnica, la seguridad, la equidad y la diversidad. Los resultados revelaron varias deficiencias entre los modelos existentes, especialmente en áreas relacionadas con la equidad y no discriminación. Esto subraya la necesidad de un desarrollo más equilibrado que también respete las consideraciones sociales y éticas establecidas por regulaciones recientes.

Uno de los puntos cruciales de COMPL-AI fue demostrar por primera vez cómo aterrizar las regulaciones en recomendaciones técnicas accionables para los proveedores de modelos. La evaluación detallada puso en evidencia que, mientras los modelos exhiben capacidades impresionantes, aún hay un importante espacio para la mejora en materias de privacidad, seguridad y transparencia, especialmente en el contexto de los riesgos sistémicos asociados a los modelos de propósito general.

En término de benchmarks, COMPL-AI se suma al esfuerzo por alinearse con las normas al proporcionar un conjunto de herramientas de evaluación que insisten en un equilibrio entre capacidades técnicas y cumplimiento normativo. A través del análisis, se identificó que modelos más pequeños suelen tener un desempeño inferior en robustez técnica, mientras que sus equivalentes más grandes intentan abordar problemas como la toxicidad en el contenido generado, mostrando potencial de alineación al desarrollo responsable del chatbot.

Al cierre, el estudio COMPL-AI sentó las bases para futuras concreciones de prácticas reguladoras en IA, estimulando mejores procedimientos en el entrenamiento de modelos y resaltando áreas críticas donde se requiere un trabajo continuado para cerrar la brecha entre la regulación y la práctica efectiva. El marco señala un importante paso hacia un ecosistema de IA más seguro y transparente, instando a una colaboración continua entre desarrolladores, reguladores y la comunidad investigadora para abordar desafíos pendientes, como la explicabilidad y la resistencia a ciberataques.