abril de 2024, Intel ha presentado su nueva generación de aceleradores de IA Intel Gaudi. Intel está apostando de forma preferente por la IA como parte consustancial de la arquitectura de sus chips, tanto en los procesadores de consumo, como en los procesadores específicos para soluciones profesionales y centros de datos.
.png)
Además de Intel Gaudi, en el evento Vision, Intel ha compartido información sobre su estrategia de sistemas escalables y ecosistemas abiertos, junto con casos de éxito, más detalles sobre la plataforma Edge y conectividad basada en tecnología Ethernet específica para productos orientados a procesamiento de IA.
.png)
Intel Gaudi es, sin embargo, la propuesta estrella de Intel para este evento, específica para aceleración de procesamiento de IA en entornos profesionales, centros de datos y computación en el Edge, que ahora llega a su tercera iteración tecnológica con Intel Gaudi 3.
El negocio de la IA está creciendo de forma casi exponencial, con 40.000 millones de dólares de gasto proyectado en 2024 por parte de las grandes compañías, que alcanzará los 151.000 millones de dólares para el año 2027. Hablamos de IA generativa específicamente, basada en los LLM especialmente. Las necesidades tecnológicas, tanto en el campo de la generación de inferencias como en el del entrenamiento de modelos, aumentan de forma significativa, dando forma a un mercado en el que los avances se suceden de forma acelerada.
.png)
Si se compara con Intel Gaudi 2, tenemos un rendimiento que es 2x mejor en computación de IA en precisión FP8, 4x mejor en BF16, con un ancho de banda de red que duplica al de Gaudi 2, más un ancho de banda de memoria 1,5x mejor.
Intel Gaudi 3 llega en un momento en el que parecía que NVIDIA con sus soluciones H100 y H200 no tenían rival, para ofrecer una alternativa con un rendimiento medio sumamente competitivo, al tiempo que ofrece una eficiencia mayor.
.png)
En una tecnología escalable, con clústeres desde un nodo hasta 1024 nodos, pasando por 64 y 512, con desde 8 aceleradoras para un nodo, hasta 8.192 aceleradoras para la configuración de 1024 nodos.
Si se compara con la NVIDIA H100, tenemos un rendimiento en entrenamiento de hasta 1,7x en LLAMA2-13B y hasta 1,3x de mejora media sobre la NVIDIA H200 en inferencia. Respecto a la NVIDIA H100, el rendimiento en inferencia es, en media, de 1,5x, con una eficiencia 2,3x mejor, también frente a la NVIDIA H100.
.png)
El acelerador Intel Gaudi 3 encuentra campos de aplicación en modelos multimodales, LLMs o RAG, con funcionalidades de AI como la generación 3D, generación de textos, imágenes, vídeo, traducciones o clasificación, entre otras.
Además, es compatible con la inmensa mayoría de modelos de IA, como Llama, Mistral, Falcon, Stable Diffusion, BLOOM, GPT, BERT, ResNet, etcétera. Así como con Frameworks de desarrollo, librerías o herramientas varias.
.png)
Intel Gaudi viene en forma de tarjeta aceleradora, con 1835 TFLOPS de potencia de cálculo en FP8, placa base universal con 14,6 PetaFLOPS de potencia de cálculo en FP8 o tarjeta de expansión PCIe CEM con 1835 TFLOPS de potencia de cálculo en FP8.
Las primeras muestras de Intel Gaudi 3 llegarán en la primera mitad de 2024, mientras que la producción en volumen llegará en la segunda mitad de 2024. También está disponible en la Intel Developer Cloud desde ya mismo, aunque en la variante Gaudi 2. Gaudi 3 llegará a la Developer Cloud en la segunda mitad del año.
.png)
.png)
