La conferencia IEEE High Performance Extreme Computing (HPEC) 2024 será un escenario destacado para la presentación de avances en el diseño de algoritmos para redes neuronales profundas (DNNs). Investigadores de la Universidad Case Western Reserve han introducido un nuevo marco de código abierto que ofrece un control detallado sobre el diseño algorítmico en DNNs, promoviendo así la exploración y selección de algoritmos con el potencial de mejorar significativamente su rendimiento.

Las redes neuronales profundas, como los modelos de red neuronal convolucional (CNNs) y los modelos transformadores, son el motor de muchas aplicaciones de IA, desde la visión computacional hasta el procesamiento del lenguaje natural. Su continuo crecimiento presenta desafíos en la selección del algoritmo apropiado, que depende de factores como el tamaño de entrada y el hardware disponible. Con más parámetros que nunca antes, la eficiencia del modelo es más crucial que nunca.

El nuevo marco presentado, nombrado AI3, permite a los usuarios implementar sus propios algoritmos en C++, mientras que también brinda implementaciones aceleradas en C++ para operaciones comunes de aprendizaje profundo. Al instalarse, su compatibilidad con bibliotecas especializadas como cuDNN asegura que el rendimiento dependa exclusivamente de los algoritmos seleccionados por el usuario, sin incurrir en costos adicionales de rendimiento.

Durante la fase de entrenamiento de una red neuronal profunda, se aprenden las operaciones de parámetros que llevan a su configuración final. Sin embargo, la selección del algoritmo para estas operaciones puede influir notablemente en el rendimiento final del modelo. AI3 aborda esta cuestión al permitir la experimentación algorítmica de manera sencilla, transformando la elección de algoritmos en un proceso más adaptativo y menos dependiente de las suposiciones tradicionales del usuario.

El marco soporta múltiples operaciones, incluyendo convolución y capas lineales, que son críticos en la infraestructura de CNNs. AI3 permite realizar selecciones algorítmicas precisas y adaptativas en función de los módulos de las redes neuronales, optimizando así sus capacidades de inferencia y reclamos de eficiencia en tiempo de ejecución. Las pruebas han demostrado que las implementaciones de AI3 pueden ser competitivas con PyTorch, una de las principales plataformas de desarrollo de DNNs.

De cara al futuro, se planea expandir la compatibilidad de AI3 para soportar otras arquitecturas de red y entornos de computación paralela, buscando ofrecer una solución más universal para el despliegue eficiente de aprendizaje profundo en una variedad más amplia de aplicaciones.