インテル、最新の MLPerf ベンチマークで Gaudi 2 AI チップの FP8 GPT3 パフォーマンスを 2 倍に向上

インテルは、MLPerf Training 3.1 の結果に対する 2023 年 11 月のアップデートをリリースし、 6 月時点の 90% という予測と比較して 103% のパフォーマンス向上を実現しました。現在、MLPerf で GPT-3 の結果を提出しているアクセラレータは、Intel、NVIDIA、Google の 3 社だけです。MLPerf AI ワークロードでは、Intel の Gaudi 2 が、NVIDIA の GPU (もはや正しい用語でしょうか?) に代わる唯一の実行可能な選択肢となっています。 。

インテルは、最新の MLPerf 3.1 で NVIDIA の最先端 Hopper チップに比べて競争力のある価格/パフォーマンスを示します

Intel はまた、Xeon が MLPerf Benchmark でトレーニング結果を提出している唯一の CPU であることもすぐに指摘しました。さっそく、ここで紹介するスライドをご覧ください。

ご覧のとおり、Intel の Gaudi チームは当初、FP8 で 90% のパフォーマンス向上を予測していましたが、GPT-3 業界ベンチマークでは 103% の向上を達成することができ、トレーニング時間を 311.94 分から分単位で短縮しました (384 アクセラレータ全体)。 5.2 時間が 2 時間強、つまり 153.58 分に短縮されました。Intel はまた、TCO (総所有コスト) ベースの意思決定を支援するためにいくつかのスライドを提示し、Gaudi 2 チップがサーバーコストを抑えながら NVIDIA H100 と同等のパフォーマンスを提供し、価格/パフォーマンスの点で競争力があることを紹介しました。

GPTJ-99 では、Gaudi 2 はさらに輝きを増し、NVIDIA の新しい Hopper チップにわずかに遅れをとりました。6 月の議論では、Gaudi 2 は NVIDIA チップの実行可能な代替品にすぎず、H100 より大幅に遅れている (古い A100 モデルとのトレード打撃のみ) という内容でしたが、現在、Gaudi 2 チップは H100 および GH200-96G セットアップにわずかに遅れています。サーバー スループット ベンチマークでは、H100 は Gaudi 2 よりわずか 9% 高速ですが、GH200-96G は Gaudi 2 よりわずか 12% 高速です。このリードはオフライン ベンチマークでは 28% に広がります。どちらの場合でも、Gaudi 2 は A100 のパフォーマンスを 2 倍近く上回りました。

最後に、Intel は、Xeon が現在 MLPerf ベンチマークを提出している唯一の CPU であることも指摘し、AI ワークロードへの取り組みを強調しました。

Intel Gaudi2 の結果について:

Gaudi2 は引き続き、AI コンピューティングのニーズに対して NVIDIA の H100 に代わる唯一の実行可能な代替手段であり、大幅なコスト パフォーマンスを実現します。Gaudi2 の MLPerf の結果には、AI アクセラレータのトレーニング パフォーマンスの向上が示されています。