Intel anuncia lanzamiento de Xeon 6 y por fin comercialización de su acelerador para IA Gaudi 3

Después de varios meses de espera, Intel anunció finalmente las primeras ofertas con el anticipado acelerador para cargas de trabajo de Inteligencia Artificial (IA), Gaudi 3, con el que espera competir de frente a Nvidia e introducir al mercado una nueva alternativa de código abierto. Al mismo tiempo, la compañía anunció la introducción de la 6a generación de procesadores Xeon, que ahora incluyen versiones con cores de eficiencia y rendimiento.

En el último par de años, se ha registrado un creciente interés de las empresas por crear nuevas capacidades basadas en IA. Se estima que 58 por ciento de los CEOs de compañías públicas en el mundo están invirtiendo activamente en IA, lo que llevaría a que 80 por ciento de las compañías a nivel global utilizarán IA Generativa hacia 2026, según cita Intel.

Sin embargo, esto también implica retos, como una creciente demanda de capacidad de procesamiento, así como altos costos de energía e infraestructura. Para ayudar a las empresas en su adopción de soluciones de IA, Intel presentó su nueva línea de procesadores Xeon y su acelerador Gaudi 3, que prometen una mayor eficiencia energética y la reducción en los costos de propiedad, entre otros beneficios.

En una presentación con medios, Marcelo Bertolami, director de Socios Regionales y del equipo de Tecnología de Latam en Intel, explicó que la compañía se ha enfocado en crear una plataforma de IA abierta y segura, que además no implique costos adicionales u ocultos como pagos por licenciamiento. El directivo señaló que esta plataforma buscaría atender las demandas de las empresas alrededor de sus datos, que sean seguros y confidenciales, que se puedan procesar de manera local, y que están basados en CPU.

Xeon 6 para cargas de trabajo de rendimiento o eficiencia

Para atender estas demandas, Intel presentó hoy Xeon 6 con núcleos de rendimiento (P-cores), que se complementa al lanzamiento del pasado junio de Xeon 6 con núcleos de eficiencia (E-cores), con lo cual la compañía busca ofrecer alternativas que se adapten según la carga de trabajo de cada empresa.

En el caso de Xeon 6 con P-cores, diseñado para manejar cargas de trabajo intensivas en computación, Intel promete que esta nueva generación ofrece el doble de rendimiento que su predecesor. Entre sus principales características, se encuentran que duplica el número de núcleos por socket, con 1.2 veces más de rendimiento por núcleo y 1.6 veces más rendimiento por watt, lo que permitiría bajar el costo total de propiedad en hasta un 30 por ciento.

Otras características son que estos nuevos Xeon con P-Cores incluyen capacidad de hasta 288 cores, con hasta 1.7 veces más ancho de banda de memoria y 2.3 veces rendimiento de memoria MRDIMM.

Ya que este producto estará enfocado a cargas de trabajo de alto rendimiento, Intel también equipó a Xeon 6 con aceleradores embebidos de IA basados en software conocidos como Advanced Matrix Extensions o AMX, que beneficiará a modelos como PyTorch y Tensor Flow, explicó Ricardo Barriga, especialista en ventas de centros de datos de Intel para las Américas.

En general, Intel promete que los Xeon 6 con P-Cores entregarán un rendimiento hasta 5.5 veces superior respecto a los procesadores EPYC de AMD, y un rendimiento en cómputo de alto desempeño (HPC) de hasta 2.1 veces.

Barriga explicó que la decisión para ofrecer dos versiones de Xeon con núcleos de eficiencia o rendimiento obedece a la demanda de las propias empresas y sus diferentes cargas de trabajo. Por ejemplo, al funcionar con menor consumo energético, los E-Cores permiten a una empresa obtener una mayor eficiencia para el manejo de cargas de trabajo que demandan menor nivel de cómputo como almacenamiento o microservicios en la Nube.

En particular, Intel apuntó al uso de Xeon 6 con E-cores para plataformas como SAP, que demandan una gran densidad y escalabilidad para permitir el acceso de múltiples clientes, pero que al mismo tiempo buscan mantener un bajo consumo de energía y un menor espacio. NTT Data es otra de las compañías que ya han logrado reducir hasta un 40 por ciento su consumo de energía, y acercarse a su objetivo de cero emisiones en 2030.

Mediante el lanzamiento de Xeon 6 con E-cores, Intel también busca demostrar que la arquitectura x86 puede ser tan eficiente en su consumo de energía como la arquitectura ARM, con lo cual se logra que los clientes puedan continuar con sus desarrollos en x86, agregó Bertolami.

Google Cloud también ha anunciado que tendrá instancias disponibles con Xeon de sexta generación.

El esperado Gaudi 3

Intel anunció que finalmente su acelerador de IA Gaudi 3 estará disponible en el cuarto trimestre (desde octubre) de la mano de fabricantes como Dell y SuperMicro. Aunque para América Latina podría darse un lanzamiento oficial a principios del próximo año, los clientes que lo requieran aún podrían importarlo desde Estados Unidos.

Este nuevo acelerador de Intel está específicamente optimizado para IA Generativa a gran escala, y viene equipado con 64 núcleos de procesamiento Tensor (TPC) y ocho motores de multiplicación de matrices (MME) para acelerar los cálculos de redes neuronales profundas. Incluye 128 GB de memoria HBMe2 para entrenamiento e inferencia, y 24 puertos Ethernet de 200 Gb para redes escalables.

Intel espera que este lanzamiento le permita hacer frente a la creciente influencia de Nvidia en el mercado de inferencia y entrenamiento de modelos de IA. Pat Gelsinger, CEO de Intel, ha sido un duro crítico del ecosistema cerrado de la plataforma de desarrollo CUDA de Nvidia, por lo que espera que Gaudi 3 permita crear un nuevo ecosistema abierto con mayores opciones y menores costos para las empresas.

En ese sentido, Gaudi 3 ofrece compatibilidad con el marco de PyTorch y los avanzados modelos transformers y diffusers de Hugging Face. Intel anunció también una colaboración con IBM para desplegar aceleradores de IA Intel Gaudi 3 como servicio en IBM Cloud. Mediante esta colaboración, Intel e IBM pretenden reducir el coste total de propiedad para aprovechar y escalar la IA, al tiempo que mejoran el rendimiento.

Intel asegura que el acelerador estará enfocado al mercado de inferencia como modelos de frontera, modelos empresariales basados en código abierto y cargas basadas en tareas y lenguaje específico de dominio. Asimismo, asegura que su rendimiento será superior al actual acelerador líder H100 de Nvidia, al entregar hasta 1.09 veces mayor rendimiento de inferencia y 1.8 veces más rendimiento por dólar en modelos como Llama 3 8B.

El lanzamiento de Gaudi 3 incluye la tarjeta aceleradora, una placa universal con soporte para hasta ocho aceleradores Gaudi 3 y procesadores Xeon. Además se presentaron conectores PCIe CEM que permiten un rendimiento de hasta 1,835 TFLOPS y memoria de alto ancho de banda (HBM2e) de hasta 128 Gb.

Por otro lado, los directivos hablaron también sobre la oferta de soluciones de generación aumentada por recuperación (RAG), la cual busca acelerar la transición de soluciones de IA Generativa (Gen AI) desde prototipos a sistemas listos para producción.

Estas soluciones, optimizadas para sistemas Xeon y Gaudi, serán construidas sobre la Open Platform Enterprise AI (OPEA), diseñado para permitir a los clientes integrar fácilmente aplicaciones de Kubernetes, Red Hat OpenShift AI y Red Hat Enterprise Linux AI.

Denvr Dataworks será otra de las compañías que actualizarán sus actuales sistemas con Gaudi 2 a la tercera generación para la oferta de entrenamiento, inferencia, modelo y RAG como servicio.