Microsoft Research は、より大きなモデルのパフォーマンスに匹敵する Orca 2 LLM をリリースしました

Microsoft は、Copilot (旧称 Bing Chat) のような生成 AI サービスの作成を支援するために、OpenAI およびその GPT 大規模言語モデルと提携している可能性があります。 。ただし、同社は独自の LM にも取り組んでいます。今週、Microsoft Research は、Orca 言語の 2 番目のバージョンである Orca 2 のリリースを発表しました

ブログ投稿の中で、Microsoft は、Orca 2 は特に小型の LM として設計されているが、それでも複雑な問題に答えるために使用できると述べました。 LLM のような質問。 Orca 2 には 2 つのサイズ (70 億パラメータと 130 億パラメータ) があり、一部は起動に使用された Llama 2 LLM を使用して作成されました。今年初めにメタ。同社は、「カスタマイズされた高品質の合成データに基づいて」Llama 2 ベースのモデルを微調整しました。

Microsoft は、これにより Orca 2 モデルが他の「5 ～ 10 倍大きい」言語モデルのパフォーマンスに匹敵する問題を処理できるようになったと述べています。

Orca 2 は、拡張され、高度に調整された合成データセットを使用してトレーニングされます。トレーニング データは、Orca 2 にさまざまな推論テクニック (ステップバイステップ処理、呼び出して生成、呼び出し理由生成、抽出生成、直接回答方法など) を教えると同時に、さまざまな選択方法を教えるように生成されました。さまざまなタスクの解決戦略。

Orca 2 モデルは、「言語理解、常識的推論、複数ステップの推論、数学の問題解決、読解」などのトピックをカバーする一連のベンチマークで、Llama 2 や WizardLM などの多数のより大きな言語モデルと比較されました。もっと。ブログには次のように書かれていました。

私たちの暫定的な結果は、Orca 2 のパフォーマンスが同様のサイズのモデルを大幅に上回っていることを示しています。また、少なくとも 10 倍大きいモデルと同等かそれ以上のパフォーマンス レベルも達成しており、より小型のモデルに優れた推論機能を装備できる可能性を示しています。

Microsoft は Orca 2 に制限があることを認めましたが、これまでのテストでは「将来の進歩の可能性」が示されています。Microsoft は Orca 2 をオープンソース プロジェクトとしてリリースし、他のユーザーも同様に作業できるようにします。