NVIDIA ha anunciado HGX H200, una nueva plataforma de computación por hardware para inteligencia artificial basada en la arquitectura de tolva de NVIDIA con procesador gráfico Tensor Core H200.
NVIDIA HGX H200 ofrece por primera vez la memoria de alta velocidad HBM3e. El acelerador incorpora 141 GB de memoria con una velocidad de 4,8 TB por segundo. Esto es 2,4 veces más rápido que NVIDIA A100. Se espera que los principales proveedores de servidores y servicios en la nube empiecen a utilizar H200 en sus sistemas en el segundo trimestre de 2024.
Además del hardware, NVIDIA también desarrolla los aspectos de software de la IA, ofreciendo las librerías de código abierto TensorRT-LLM junto con el nuevo acelerador.
Por ejemplo, el acelerador H200 puede proporcionar el modelo Llama 2, con 70.000 millones de parámetros, a una velocidad dos veces superior a la del H100. Se espera que el nuevo software aumente aún más el rendimiento.
La NVIDIA H200, disponible en configuraciones de cuatro y ocho canales, será compatible con el hardware y el software de la HGX H100. También se utilizará en combinación con los procesadores NVIDIA Grace con conexión ultrarrápida NVLink-C2C para formar la Grace Hopper GH200 con HBM3e. Con NVLink y NVSwitch, el HGX H200 destaca en entrenamiento LLM y modelado pesado, ofreciendo más de 32 petaflops de aprendizaje profundo FP8 y 1,1 TB de memoria.
Los aceleradores se pueden implementar en cualquier centro de datos, y socios como ASRock Rack, ASUS, Dell y otros pueden actualizar los sistemas existentes con H200. Proveedores de servicios en la nube como AWS, Google Cloud, Microsoft Azure y Oracle desplegarán estaciones basadas en H200 el año que viene.
