El reciente estudio evaluó la eficacia de los Modelos de Lenguaje Grande (LLM) comprimidos o cuantizados para la generación de código utilizando benchmarks en Lua, un lenguaje de recursos limitados. La cuantización es un método que reduce el tamaño del modelo y su demanda computacional, haciéndolos más accesibles para dispositivos de consumo, como ordenadores portátiles sin GPU dedicada. Este método disminuye la precisión numérica con la finalidad de hacerlo más ligero y ejecutable sin perder su capacidad de funcionamiento en tareas específicas.
Cinco modelos de lenguaje específicos para generación de código fueron evaluados: CodeLlama, DeepSeek Coder, StarCoder, CodeQwen, y CodeGemma. Cada uno fue probado en configuraciones de precisión de 2, 4, y 8 bits, con un enfoque especial en medir su desempeño en tareas de generación de código Lua. Los resultados sugieren que los modelos cuantizados a 4 bits ofrecen el mejor equilibrio entre tamaño y rendimiento, confortablemente ejecutándose en un portátil estándar.
A pesar de la mejora en accesibilidad gracias a la cuantización, los modelos presentaron resultados mixtos en términos de rendimiento, particularmente en tareas de programación en Lua, que es conocido por ser un lenguaje de recursos limitados. CodeQwen mostró el mejor desempeño general, mientras que CodeGemma, especialmente en la configuración de 2 bits, demostró una degradación significativa, traducida en salidas incoherentes o alucinaciones.
Además, la cuantización a 2 bits presentó una caída notoria en la calidad del código generado, principalmente debido a errores de síntaxis. Sin embargo, a niveles de 4 y 8 bits, el rendimiento mejoró significativamente, aunque el incremento de los bits no siempre se tradujo en un aumento proporcional en la precisión o calidad del código.
El análisis también sugirió que, aunque los modelos de precisión más alta (8 bits) demoraban más tiempo en generar salidas generando así una mayor calidad en algunas áreas, las diferencias no siempre fueron sustanciales frente a los modelos de 4 bits. En contraste, los modelos no cuantizados con menos parámetros demostraron desempeños inferiores frente a los modelos cuantizados, reafirmando la eficiencia de la cuantización como un método viable para llevar modelos más grandes y potentes a dispositivos de consumo.
En conclusión, la cuantización emerge como una herramienta clave para democratizar el acceso a modelos de inteligencia artificial, sin embargo, los resultados del estudio destacan la necesidad de un desarrollo continuo de estrategias de cuantización que no comprometan significativamente el rendimiento, juntamente con un avance en técnicas de ajuste fino más accesibles para usuarios individuales.