NVIDIA が H100 GPU で MLPerf ベンチマークを破り、AI 市場の無敵のリーダーである理由を証明

NVIDIA の H100 GPU は AI に関してはスペクトルの頂点にあり、同社は MLPerf ベンチマークで新たな記録を再び樹立しました。

Hopper H100 GPU が記録破りの MLPerf 生成 AI パフォーマンスを達成し、NVIDIA の AI リーダーシップが継続

NVIDIA が公開した最新の MLPerf ベンチマークで、NVIDIA はいくつかの新記録を樹立したことを強調しています。Eos スーパーコンピューターは、10 億のトークンでトレーニングされた 1,750 億のパラメーターを備えた GPT-3 モデルに基づくトレーニング ベンチマークをわずか 3.9 分で完了しました。これは、スーパーコンピューターが同じベンチマークを 10.9 分で完了することができた以前の記録からの大きな進歩であり、なんと 3 倍の向上を記録しました。

さて、スーパーコンピュータが達成した数字は確かに驚異的ですが、その主な理由は何でしょうか?

簡単に言うと、NVIDIA の最先端の Hopper GPU アーキテクチャが、よく洗練されたソフトウェア リソースと結びついています。Eos スーパーコンピューターは現在 10,752 個の NVIDIA H100 Tensor コア GPU を採用しており、かなり古い A100 に代わっています。これが、そもそもパフォーマンスが大幅に向上する理由です。さらに、 LLM トレーニングを支援するNVIDIA の NeMoなど、よく開発されたソフトウェア リソースを通じて、Team Green はプラットフォームから並外れたパワーを絞り出すことに成功しました。

さらに、投稿で言及されている NVIDIA のもう 1 つの記録的な成果は、「システム スケーリング」内での進歩であり、さまざまなソフトウェア最適化の助けを借りて、同社は 93% の効率を示すことに成功しました。10,752 個の H100 GPU は、NVIDIA が 3,584 個の Hopper GPU を使用した 6 月のAI トレーニングの規模をはるかに上回りました。高い計算能力を達成するにはより多くのハードウェア リソースを使用する必要があり、適切なソフトウェア支援がなければシステムの効率が大幅に損なわれるため、業界では効率的なスケーリングの重要性が非常に重要です。

AI 業界における NVIDIA の役割は、少なくとも現時点では人類に知られている中で最も高性能な AI GPU を提供する力を持っているため、非常に重要です。財務的な側面はさておき、Team Green はソフトウェア リソースの開発に迅速に取り組んでおり、クライアントと協力して、効率と安定性を維持して製品ポートフォリオが最適なパフォーマンスを確実に提供できるようにしてきました。

ニュースソース: NVIDIA ブログ