Apple、Siriの画面認識機能を開発中

Apple、Siriの画面認識機能を開発中

iOS 18.2 ベータ 2 の新機能: 機能と Siri の機能強化

iOS 18.2 ベータ 2 のロールアウトが月曜日に開発者向けに開始され、ユーザー エクスペリエンスの向上を目的とした一連の魅力的な機能が導入されました。特に、このアップデートには、設定アプリ内での ChatGPT の統合、メモの新しい「画像を作成」オプション、アップグレードされた「探す」機能、メール アプリの通知バッジの更新など、さまざまな改善が含まれています。このアップデートの安定版は来月リリースされる予定です。

Siriの新しいコンテキスト認識機能

より幅広い機能セットに加えて、iOS 18.2 ベータ版は Siri の機能の大幅な進歩への道を開きます。Apple は現在、Apple Intelligence スイートの一部として、Siri のコンテキスト認識を強化する洗練された機能を開発しています。開発者向けに新しい API が提供され、Siri がアプリケーションから画面上のコンテンツにアクセスできるようになりました。

Siriが画面上のコンテンツと対話する方法

Apple のドキュメントによると、ユーザーが画面上のコンテンツについて質問したり、それに関連するアクションを実行しようとしたりすると、Siri と Apple Intelligence はそのようなコンテンツを取得して適切な応答を返すことができる。たとえば、ユーザーがドキュメントを表示している場合、「Hey Siri、このドキュメントの内容は何ですか?」と尋ねるだけで、詳細な概要を受け取ることができる。

ChatGPTとSiriの統合

現在進行中の iOS 18.2 ベータ アップデートでは、ChatGPT と Siri の統合も強化され、ユーザーは画像、ビデオ、PDF、プレゼンテーションなど、さまざまな形式について問い合わせることができます。たとえば、Siri に「このドキュメントは何についてのものですか?」と尋ねると、Siri はスクリーンショットで情報をキャプチャし、それを ChatGPT に渡して、ユーザーに必要な詳細を提供します。

特徴的な機能: ChatGPT と Onscreen Awareness

しかし、MacRumorsが強調しているように、ChatGPT との統合は、Apple のドキュメントに記載されている完全なオンスクリーン認識機能と同じではないことに注意することが重要です。この機能は、Siri が画面上の表示コンテンツを包括的に処理、分析、操作できるように設計されています。たとえば、電話番号が記載されたテキストを受信したユーザーは、Siri にこの番号を直接連絡先に追加するように依頼できます。

入手可能性と将来の見通し

興味深いことに、高度なオンスクリーン認識機能は、現在の iOS 18.2 ベータ 2 にはまだ含まれていません。現在、ChatGPT はスクリーンショットへのアクセスに制限されているため、より統合された Siri エクスペリエンスが将来のアップデートで提供される可能性があり、おそらく来年まで登場しない可能性があります。

さらに詳しい情報や画像については、元のソースをこちらでご覧ください。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です