Siriの画面認識機能は、明後年までに導入される予定ですが、すでに使用できます。

Siriは、サポートされたiPhoneを使用してChatGPTと組み合わせて画面から情報を抽出できます。サリを使用してウェブページ、写真、ライブカメラのフィードから情報を取得できます。実際の画面認識機能が追加されると、より多くの機能とアプリ間の操作性が可能になりますが、現在のChatGPT方法はまだ非常に有用です。スクリーン上の認識は、現在のiPhone画面に表示されている情報をSiriに尋ねることができる予定の機能です。しかし、iPhoneがApple Intelligenceをサポートしている場合、これを行うことができます。 「Siriのオンスクリーン認識とは何ですか？」の日本語訳は以下の通りです： 「Siriのオンスクリーン認識とは何ですか？」AppleがiOS 18で展示する予定の機能の一つとして、Siriのアップデートが Announcement されました。Appleによると、Siriは現在iPhoneの画面に表示されている情報に基づいてアクションを実行できるようになります。友人が新しい住所でメッセージを送った場合、あなたは「この住所を彼の連絡先カードに追加する」と言えると、Siriは画面から住所情報を抽出して該当の連絡先に追加することができます。このプロセスには2つの部分があります。1つ目は、Siriがメッセージからテキストを抽出して連絡先に渡し、複数のアプリでアクションを実行する能力です。これはまだ実現できていない機能で、iOS 18.4の一部として来年に導入される予定です。プロセスの残りの部分は、Siriが現在画面に表示されている情報をアクセスできる機能です。この機能はiOS 18.4で期待されていますが、iPhoneがApple Intelligenceをサポートしている場合、すでに画面に表示されている情報から情報を抽出するためにSiriを使用できます。 「Siriで画面に現れる意識を獲得する方法」iOS 18.2のリリースにより、ChatGPTはApple IntelligenceをサポートするiPhone（現在はiPhone 15 Pro、iPhone 15 Pro Max、iPhone 16モデルのみ）でSiriと統合されました。これにより、Siriが画面から情報を直接抽出できないため、Apple IntelligenceをサポートするiPhoneを使用して情報を取得する必要があります。iPhoneがサポートされている場合、必要なのはSiriリクエストに現在の画面から情報を取得したいという旨を示す何かを使用することです。例えば、「この画面の情報を要約して」とか「iPhoneの画面で何が見えるか説明して」と言うことができます。うまくいかない場合は、クエリの先頭に「Ask ChatGPT」を追加すると役立つ場合があります。Siriは次に、スクリーンショットをChatGPTに送信するかどうかを尋ねます。"送信"をタップすると、スクリーンショットがChatGPTによって解析され、リクエストに対する応答が生成されます。画像が画面に表示されている場合、プロセスはさらに印象的になります。この場合、画面を全く参照する必要はありません。例えば、iPhoneが動物の画像を表示している場合、単に「これは何の動物ですか？」と問うだけで、SiriはスクリーンショットをChatGPTに送信するかどうかを尋ねます。ChatGPTのリクエストはクラウドで処理されるため、iPhoneの画面に機密情報が表示されている場合はこの方法を使用するべきではありません。Siriからウェブページの情報を要求する このテクニックを使うと非常に便利で、最良の部分はChatGPTが画面に表示されるウェブページのテキストだけでなく、全体のページ、つまり画面に表示されないテキストまで情報を抽出できるというところです。ウェブページから連絡先情報を取得する必要がある場合、情報が画面に表示されなくても、ページのどこかに存在すればよいです。ウェブページを開き、情報を取り出したいページにします。この例では、レストランの営業時間を見つけることを目的としています。ドライブスルーは24時間ですが、下部にスクロールしないと表示されない時間表は見えません。Siriは、現在iPhone画面に表示されていない時間でも、ChatGPTの助けでこの情報を抽出することができます。サリを有効にするには、側面ボタンを押して保持するか、「サリ」または「こんにちは、サリ」と言います。ビジネスの営業時間について尋ねるようなことを言います。 SiriにスクリーンショットをChatGPTに送信するかどうか尋ねられたら、「スクリーンショット」を選択し、「