Le géant du stockage de formation AI de Nvidia – H100 NVL

Nvidia a dévoilé une nouvelle version de son GPU hopper, le H100 NVL, qui offre plus de mémoire et plus rapide que les itérations précédentes. Le H100 NVL utilise six piles de stockage HBM3, qui offrent une capacité de stockage de 94 Go et un taux de transfert de 3,9 To/s. Deux modèles dans un pack double peuvent être connectés via NV-Links pour fournir 188 Go. En comparaison, le modèle de bureau actuel, le GeForce RTX 4090, dispose de 24 Go de RAM GDDR6X pouvant transférer à 1 To/s.

Les variantes précédentes de H100 utilisaient six piles HBM3, mais une n’a pas été utilisée pour augmenter le rendement des copies fonctionnelles. Pour le H100 NVL, seuls 2 Go de la pile HBM3 de 16 Go sont désactivés car un seul niveau de mémoire dans la pile HBM3 est inactif. Nvidia commercialise le H100 NVL pour la formation de grands modèles d’IA avec des cœurs de tenseur intégrés, offrant potentiellement 1979 téraflops au format FP16 ou 3958 téraflops avec une précision FP8. Pour les charges de travail classiques, les cœurs de shader gèrent 34 téraflops FP64 ou 67 FP32.

Le H100 NVL utilise la même configuration de puce que la version SXM5 du GPU H100 avec 132 multiprocesseurs de shader, 16 896 cœurs de shader, 528 cœurs de tenseur et une horloge de calcul d’environ 1,8 GHz. Le GPU est fabriqué par TSMC en utilisant le processus de 4 nanomètres, mais le H100 NVL devrait être plus lent que le précédent H100 SXM5 sous charge constante, puisque Nvidia a abaissé la consommation électrique maximale de 700 à 350-400 W.

See also  Le plaidoyer de Maribel Guardia pour la vie privée après la perte de son fils Julián Figueroa suite à une crise cardiaque

Le H100 NVL se présente uniquement sous la forme d’une carte PCI Express 5.0 sans sortie vidéo et s’appuie sur une forte ventilation du boîtier car il n’a pas de ventilateur. Des systèmes partenaires pour les serveurs et les centres de données avec jusqu’à huit GPU H100 NVL sont attendus, mais Nvidia n’a pas encore commenté les prix.