Nvidia anuncia plataforma con chip H200 para supercargar cargas de trabajo basadas en IA
Nvidia anunció la introducción de su plataforma HGX H200, basada en la arquitectura NVIDIA Hopper y equipada con la GPU H200 Tensor Core con memoria avanzada, para manejar grandes cantidades de datos para la Inteligencia Artificial (IA) Generativa y las cargas de trabajo de computación de alto rendimiento.
La nueva plataforma, que estará disponible para empresas de servidores y proveedores de servicios en la Nube en el segundo trimestre de 2024, “casi duplica” las velocidades de inferencia en el modelo de lenguaje de código abierto LLama 2, según afirma el fabricante de chips.
La plataforma es una versión actualizada del acelerador H100 independiente, pero equipado con memoria HBM3e, lo que le permitirá aumentar masivamente el ancho de banda y la capacidad de la memoria para impulsar la aceleración de la IA Generativa y los modelos de lenguaje grandes, al tiempo que avanza en la computación científica para las cargas de trabajo de HPC.
Con este nuevo componente de memoria, la H200 ofrece hasta 141 GB de memoria a 4.8 terabytes por segundo, casi el doble de capacidad y 2.4 veces más ancho de banda en comparación con su predecesora, la Nvidia A100.
“Para crear inteligencia con aplicaciones generativas de IA y HPC, grandes cantidades de datos deben procesarse de manera eficiente a alta velocidad utilizando una memoria GPU amplia y rápida”, dijo Ian Buck, vicepresidente de hiperescala y HPC de NVIDIA.
Adicionalmente, Nvidia acompaña la nueva plataforma con nuevas bibliotecas de código abierto como NVIDIA TensorRT-LLM.
Se espera que los sistemas alimentados por H200 de los principales fabricantes de servidores y proveedores de servicios en la Nube estarán disponibles en el segundo trimestre de 2024.
La compañía detalla que la Nvidia H200 estará disponible en placas de servidor Nvidia HGX H200 con configuraciones de cuatro y ocho vías, que son compatibles con hardware y software de los sistemas HGX H100.
Explica que un HGX H200 de ocho vías proporciona más de 32 petaflops de computación FP8 de Aprendizaje Profundo y 1.1 TB de memoria agregada de alto ancho de banda para aplicaciones generativas de IA y HPC.
También estará disponible el Nvidia GH200 Grace Hopper Superchip con HBM3e, anunciado en agosto. Con estas opciones, H200 se puede implementar en todo tipo de centro de datos, ya sea instalaciones propias, en la Nube, Nube híbrida y el Edge.
Entre los primeros fabricantes en dar soporte a la nueva plataforma se encuentran ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron y Wiwynn.
Asimismo, los hyperscalers Amazon Web Services (AWS), Google Cloud, Microsoft Azure y Oracle Cloud Infrastructure (OCI) estarán entre los primeros proveedores en implementar instancias basadas en H200 a partir del próximo año, además de CoreWeave, Lambda y Vultr.
