Microsoft は、Bing Chat の応答時間を短縮するために GPU を追加する必要があることを認めています

Microsoft は現在、誰もが順番待ちリストなしで Bing Chat チャットボットをチェックできるようにしています。もちろん、これは多くの人がこのサービスを初めてチェックアウトして使用していることを意味します。ただし、一部の Bing Chat ユーザーは現在、応答が遅くなっていると言っています。

より速い応答時間を見たいと述べたユーザーとの Twitter のやり取りで、「ばかげているほど長く待たなければならないことがある」と付け加えました。Microsoft の広告および Web サービスの責任者である Mikhail Parakhin 氏は、「使用量が増え続けており、GPU を追加する速度が十分ではありません」と謝罪し、この現状は修正されると付け加えました。

Sorry about the latency: the usage keeps growing, we are not adding GPUs fast enough. We’ll get it fixed.

— Mikhail Parakhin (@MParakhin) May 8, 2023

このような状況は、ジェネレーティブ AI の最大の障害の 1 つです。これらのサービスは、データ サーバーでますます特殊化された GPU を必要とするからです。現在、これらのチップの主要メーカーは NVIDIA です。ただし、未確認のレポートによると、AMD と Microsoft が協力して、NVIDIA を使用することによる依存の一部を取り除くことができる新しい AI チップを開発しています。

Parakhin は今週末、他の Twitter ユーザーからの Bing Chat に関する質問にも答えました。彼はあるユーザーに、待望のBingチャット履歴機能が「数日」で登場すると語った. 彼はまた別のユーザーに、Bing Image Creator のより多くのアスペクト比が議論されているが、それは「すぐには」起こらないかもしれないと語った. 最後に、彼は別のユーザーに、いつか Bing Chat が Code Interpreter をサポートすることを望んでいるが、「簡単な作業ではなく、安全に行う必要がある」と付け加えました。