Androidのライブキャプションが現在、表現を理解できます。

Androidのライブキャプション機能は、一部のコンテンツにとって大きな利点ですが、キャプションはリアルタイムで生成されるため、機能はそのままのテキストに訳すだけに止まっています。今、エクスプレッシブ・キャプションが現れ、それらに少しの動きを加えます。「最初の段落の下のゾーンに勝利した広告が見つかりませんでした。紹介の中間のゾーンに勝利した広告が見つかりませんでした。」Googleは、Android向けに新しい機能「Expressive Captions」を導入しました。この新しい機能はAIによって駆動され、リアルタイムで音声を解析し、話者の感情や周囲の環境を反映するスタイル付けされたキャプションに翻訳します。GoogleとDeepMindが開発したAIモデルは、伝統的なキャプションを超えて、単なる発言だけでなく、声のトーン、音量、さらには周囲の音も伝えます。Google想像してみてください。大文字で「ハッピー バースデイ！」と大叫する人がいるキャプションだけでなく、笑い、拍手、さらには息を吐くような表情も示すもの。この追加情報は、ライブやソーシャルコンテンツのニュアンスを理解するのに非常に重要です。このような表現は、手動で翻訳されたキャプションによく見かけるものですが、AI生成のキャプションに含まれることで非常に便利です。なぜなら、通常は音声を聞くことしかできないような社会的な暗示を収集することができます。ライブキャプションの拡張機能として、エクスプレッシブキャプションは、スマートフォンで見るまたは聞く何でもシステムレベルで利用できます。これには、ライブソーシャルメディアストリームやIMサービスで送られたビデオメッセージなどが含まれます。

AIのため、キャプションは100%正確ではないでしょう。誤解を招く要素をキャプチャする可能性がありますし、実際に存在する要素をキャプチャできないこともあります。機能が全ユーザーに利用可能になるまで調整が必要かもしれません。それでも試してみたい場合は、今すぐ試してみてください。Googleは、Live Captionsを搭載しているAndroid 14以上のスマートフォンにこの機能を今から展開していると述べていますが、全ユーザーに到達するまで数週間かかるかもしれません。