En un reciente estudio, investigadores han explorado el uso de modelos de lenguaje grande (LLMs, por sus siglas en inglés) como ejecutores de código, un campo hasta ahora poco explorado. Tradicionalmente utilizados para generar código, ahora los LLMs tienen la capacidad de ejecutar directamente fragmentos de código y entregar los resultados. Esto supone un avance significativo en el ámbito de la inteligencia artificial aplicada a la programación, ofreciendo beneficios potenciales como depuración automatizada y validación en tiempo real.
El estudio se centra en varios modelos LLM, destacando que el modelo OpenAI o1 alcanzó una precisión superior al 90% en la ejecución de código, mientras que otros modelos, como GPT-3.5, GPT-4o, y DeepSeek-Coder, registraron precisiones más bajas, algunas por debajo del 50%. Esta diferencia subraya la necesidad de métodos innovadores para mejorar el rendimiento de los modelos menos precisos. Una técnica propuesta, Iterative Instruction Prompting (IIP), mejora la precisión de los modelos, especialmente los que tienen un rendimiento inicial más bajo, proporcionando un aumento promedio del 7.22% y en algunos casos hasta del 18.96%.
El trabajo de los investigadores no sólo resalta el potencial transformador de los LLMs en la programación, sino que también establece un marco para futuros avances en programación automatizada. Al experimentar con la capacidad de los LLMs de ejecutar código, se abre la puerta a la creación de asistentes de programación inteligentes que podrían cambiar radicalmente la forma en que se escribe, prueba y despliega el código.
En un análisis más detallado, se estudiaron varias formas de implementar estas técnicas de prompt (indicación) en los modelos, demostrando que el uso de IIP, que analiza y ejecuta cada línea de código de manera iterativa, resulta ser el más efectivo. Además, el estudio investiga cómo factores como el tipo de código y la complejidad computacional afectan al rendimiento de los LLMs.
Los resultados demuestran que los modelos más avanzados, como el OpenAI o1, son capaces de manejar tareas complejas con mucha destreza, superando significativamente a otros modelos como GPT-3.5 y Qwen-Coder, que muestran dificultades al enfrentarse a estructuras complejas de código y al interpretar los contextos de los comentarios de manera precisa. Los esfuerzos futuros deberán seguir explorando el potencial de los LLMs en el desarrollo de software automatizado, buscando incursionar en tareas de programación aún más complejas y avanzadas.