Microsoft の Copilot Vision は画面を分析して AI アシスタンスを強化します

本日、マイクロソフトは新しいCopilot Labsの一環として、Copilot Visionという革新的な機能を発表しました。この取り組みにより、マイクロソフトは限られたユーザー グループで新しいAI 機能を試験的に導入し、貴重なフィードバックを集めて機能を強化することができます。Copilot Vision は、今年初めに OpenAI がデモしたビデオ機能に似ており、画面に表示されるコンテンツに合わせてカスタマイズされたリアルタイムの支援をユーザーに提供します。

現在、Copilot Vision はMicrosoft Edge内でのみ利用可能です。有効化されると、サポートされている Web サイトにアクセスするユーザーは、リアルタイムでページのコンテンツに関連する質問をしてCopilotとやり取りできるようになります。この機能は、クエリへの回答を支援するだけでなく、進行中のタスクに役立つ後続のアクションを提案することもできます。入力するのではなく、自然にクエリを話すことができるため、ナビゲート中に専門家が隣に座ってサポートしてくれているような感覚になります。

Microsoft は、プライバシーを重視してCopilot Vision を設計しました。この機能は完全にオプトイン ベースで動作し、ユーザーが明示的に選択した場合にのみ有効になります。重要な点として、Microsoft は、Copilot Vision からの音声、画像、テキスト、会話などのデータがモデルのトレーニングに保存または利用されないことをユーザーに保証しています。Visionセッションが終了すると、関連するすべてのデータが完全に消去されます。

さらに、Copilot Vision は、有料コンテンツや機密コンテンツを含む Web サイトには適用されません。この準備段階では、Microsoft はCopilot Vision を事前に承認された Web サイトの厳選リストに制限していますが、将来的にはその利用可能範囲を拡大し、ユーザーの安全と責任を常に優先する計画です。

Copilot Vision はエージェントとして動作しない、つまりユーザーに代わってアクションを実行できないことを明確にすることが重要です。代わりに、ブラウジング中の質問に答える、役に立つコンパニオンとして機能します。

Copilot Visionは現在、米国のCopilot Proユーザーの一部に展開されています。この機能は、Web との関わり方を変革し、より直感的でサポート力のあるブラウジング エクスペリエンスを実現する可能性があります。Microsoft がこの革新的な機能をさらに開発および拡張するにつれて、近い将来、さらに効果的なCopilotエクスペリエンスが実現することが期待されます。

ソース