アップルの世界開発者会議(WWDC 2022)で登場した次期iOS 16では、これまでも好評だった「テキスト認識表示(Live Text)」がビデオにも拡大されることが発表されました。
この機能は、iOS 15(またはiPadOS 15以降)で導入されたものです。静止した写真や画像から情報を取り出し、テキストをコピーしたり、電話を掛けたり、外国語を翻訳したりできることが好評でした。
iOS 16では、本機能が動画についても使えるようになり、ビデオ内のテキストを選択したり、(アプリが対応していれば)リアルタイムで翻訳したりすることも可能となりました。アップル純正のアプリはもちろんのこと、サードパーティの開発者も本機能を利用できる新たな「Live Text API」も用意されているそうです。
また、画像の被写体を簡単に選ぶことができ、背景から抜き出して(背景を削除して)、別のアプリにコピーできる驚きの機能もあり。これはiPhoneのAシリーズチップに内蔵されているNeural Engineを活用した機械学習によるものだそうです。デモ映像では犬が映っている風景写真から犬だけをきれいに切り取っていました。