AMD presenta nuevos GPU MI350 con mayor rendimiento y mejor consumo energético
AMD presentó la actualización de su línea de GPUs insignia para cargas de trabajo de Inteligencia Artificial (IA) Generativa, los Instinct MI350, con la nueva arquitectura CDNA4, con lo que logran hasta cuatro veces más rendimiento de cómputo y un salto generacional de 35 veces en cargas de inferencia, con lo que buscará competir frente a los populares GPUs de Nvidia y su recién lanzada arquitectura Blackwell.
“AMD está impulsando la innovación en IA a un ritmo sin precedentes, destacado por el lanzamiento de nuestros aceleradores AMD Instinct serie MI350, los avances en nuestra próxima generación de soluciones AMD ‘Helios’ a escala de rack, y el creciente impulso de nuestra pila de software abierto ROCm”, dijo Lisa Su, presidenta y CEO de AMD, durante el evento anual Advancing AI.
La nueva línea de GPUs cuentan con memoria HBM3E de hasta 288 GB (fabricadas por Micron y Samsung Electronics) y un ancho de banda de hasta 8 TBps, preparadas para atender cargas de trabajo tanto de inferencia como las más demandantes de entrenamiento de IA.
Asimismo, cuenta con configuraciones flexibles de refrigeración por aire y refrigeración líquida directa. AMD explica que la MI350 admite hasta 64 GPU en un bastidor refrigerado por aire y hasta 128 GPU en un bastidor de refrigeración líquida directa, lo que proporciona hasta 2.6 exaFLOPS de rendimiento FP4/FP6. La compañía afirma que estas características permiten acelerar la implementación de proyectos de IA, en línea con la reducción de costos.
La serie Instinct MI350, compuesta por las plataformas y GPU Instinct MI350X y MI355X, ofrece un mayor rendimiento para la implementación de soluciones de IA en todos los sectores. En particular, AMD afirma que el MI355X ofrece importantes mejoras en la relación precio-rendimiento, generando hasta un 40% más de tokens por dólar en comparación con las soluciones de la competencia.
En ese sentido, el fabricante de chips señala que esta nueva línea supera en 30 veces el objetivo quinquenal de AMD de mejorar la eficiencia energética de los nodos de entrenamiento de IA y computación de alto rendimiento, con lo que ofrece una mejora de 38 veces.
Como parte de sus esfuerzos por ampliar la presencia de sus aceleradores y GPUs en el mercado de IA, AMD también invitó a socios y clientes para demostrar los casos de uso reales de esta infraestructura.
Por ejemplo, Oracle Cloud Infrastructure (OCI) es uno de los primeros en adoptar los Instinct MI355X. OCI aprovecha las CPU y GPU de AMD para ofrecer un rendimiento equilibrado y escalable para los clústeres de IA, y anunció que ofrecerá clústeres de IA a escala zeta acelerados por los últimos procesadores AMD Instinct con hasta 131 mil 72 GPU MI355X para permitir a los clientes construir, entrenar e inferir IA a escala.
Respecto al avance de la generación anterior, Meta detalló que usa los Instinct MI300X para la inferencia de Llama 3 y Llama 4, a la vez que espera aprovechar la nueva potencia de cálculo, el rendimiento por coste total de propiedad y memoria de nueva generación de los nuevos MI350.
Microsoft también reveló que utiliza Instinct MI300X para modelos de código abierto y propietario en producción en Azure; mientras que Cohere compartió que sus modelos Command escalables y de alto rendimiento se despliegan en Instinct MI300X.
Por su parte, el CEO de OpenAI, Sam Altman, habló sobre la importancia del hardware, el software y los algoritmos optimizados holísticamente y la estrecha colaboración de su empresa con AMD en la infraestructura de IA, con modelos de investigación y GPT en Azure en producción en MI300X, así como compromisos de diseño profundo en plataformas de la serie MI400.
Más infraestructura a escala de rack y software mejorado
Por otro lado, AMD presentó infraestructura de IA a escala de rack de extremo a extremo y bajo estándares abiertos, que ya se está desplegando con la serie de aceleradores AMD Instinct MI350, los procesadores AMD EPYC de 5ª generación y las NIC AMD Pensando Pollara en despliegues de hiperescaladores como OCI. Esta infraestructura estaría disponible en la segunda mitad de 2025.
La compañía de chips también desveló un nuevo objetivo para 2030: multiplicar por 20 la eficiencia energética a escala de rack a partir del año base 2024, lo que permitirá que un modelo típico de IA que hoy requiere más de 275 racks se entrene en menos de un rack totalmente utilizado en 2030, lo que significa una reducción del 95% de electricidad.
AMD también adelantó su rack de IA de próxima generación llamado “Helios”, que se basará en la nueva generación de GPUs AMD Instinct Serie MI400, las CPUs AMD EPYC “Venice” basadas en “Zen 6” y las NICs AMD Pensando “Vulcano”, que en comparación con la generación anterior ofrecerán hasta 10 veces más rendimiento para cargas de inferencia sobre diversos modelos.
Además de los chips, uno de los componentes relevantes para el éxito de estos componentes es el software que permita aprovechar todas sus capacidades. Para esto, AMD también actualizó su pila de software ROCm en su versión 7, una alternativa de código abierto al popular CUDA desarrollado por Nvidia.
Según AMD, ROCm 7 ofrece mayor compatibilidad con los marcos de trabajo estándar del sector, mayor compatibilidad con el hardware y nuevas herramientas de desarrollo, controladores, API y bibliotecas para acelerar el desarrollo y la implantación de la IA.
Adicionalmente, para atraer a la comunidad de desarrolladores, anunció la amplia disponibilidad de AMD Developer Cloud, diseñada específicamente para el desarrollo rápido y de alto rendimiento de la IA, que ofrecerá un entorno de Nube totalmente gestionado.