El chip H100 de inteligencia artificial de Nvidia la convirtió en una empresa multimillonaria, que puede valer más que Alphabet y Amazon, y los competidores han estado luchando por alcanzarla. Pero, según el medio The Verge, tal vez Nvidia esté a punto de ampliar su liderazgo, con la nueva GPU Blackwell B200 y el “superchip” GB200.

Nvidia anunció que la nueva GPU B200 ofrece hasta 20 petaflops de caballos de fuerza FP4 en sus 208 mil millones de transistores.

Además, un GB200 que combina dos de esas GPU con una sola CPU Grace y puede ofrecer 30 veces más rendimiento para cargas de trabajo de inferencia LLM y, al mismo tiempo, ser potencialmente más eficiente.

“Reduce el costo y el consumo de energía hasta 25 veces” en comparación con un H100, dice Nvidia.

Para entrenar un modelo de 1,8 billones de parámetros se habrían necesitado anteriormente 8.000 GPU Hopper y 15 megavatios de potencia, afirma Nvidia. Hoy, el director ejecutivo de Nvidia dice que 2.000 GPU Blackwell pueden hacerlo consumiendo sólo cuatro megavatios.

En una prueba de referencia GPT-3 LLM con 175 mil millones de parámetros, Nvidia dice que el GB200 tiene un rendimiento siete veces mayor que un H100, y ofrece cuatro veces la velocidad de entrenamiento.

Nvidia dijo a los periodistas que una de las claves es un motor transformador de segunda generación que duplica la computación, el ancho de banda y el tamaño del modelo mediante el uso de cuatro bits para cada neurona, en lugar de ocho (de ahí los 20 petaflops del FP4).

Una segunda diferencia clave solo surge cuando se conecta una gran cantidad de estas GPU: un conmutador NVLink de próxima generación que permite que 576 GPU se comuniquen entre sí, con 1,8 terabytes por segundo de ancho de banda bidireccional.

Eso requirió que Nvidia construyera un chip conmutador de red completamente nuevo, uno con 50 mil millones de transistores y parte de su propia computación integrada: 3,6 teraflops de FP8, dice Nvidia.