今年のARはどう進化するのか？
ARKit3における進化は、大きく4つある。一つは、人がARで作成した世界観に重なったとき、人を認識して正しい前後関係を反映できるようになったこと。これは「People Occlusion（オクルージョン）」という機能で、要するにARで人をサンドイッチできることを意味する。
例えば、手前に松の木があり、その奥に人がいて、さらに後ろに海と富士山というレイヤーがあるとすれば、人は松の木の後ろに隠れることが可能になる。キーノートのデモで、Minecraft Earthの世界観に人が入り込む様子が紹介されていたのはご存知の通り。リアルタイムに全てのピクセルで人なのかどうかを判断し、レンダリングできるのは、高精度マシンラーニングとそれを実現する端末の賜物だ。
2つ目は、モーションキャプチャーが可能になったことだ。カメラで撮影した人間の関節の動き方を取得でき、2Dあるいは3Dの骨格をキャプチャーし、アプリ内にインポートできる。これによって所謂「インバースキネマティック」という手法（骨格とオブジェクトを連動させるアニメーション手法）が使えるようになるのだ。先のMinecraftのデモでは、カメラに映った人の動きが、そのままゲーム内のキャラクターに反映されていた。特撮のようなマーカーをつけたスーツを着ることなく、iOSデバイスさえあれば、誰もが手軽に仮装のキャラクターに動きをつけられるわけだ。
想像するに、リアルタイムでVTuber的なフィルターをかけるようなアプリが増えるのではないだろうか。あるいは、洋服のARを人に重ねて表示するようなアプリがでてくれば、ウェブ通販の試着をバーチャルに行えるようになるかもしれない。
3つ目は、フロントカメラとリアカメラの映像を同時に取得してARに反映するという技術だ。例えば、ARゲームアプリで端末利用者に「笑え」と指示があり、その指示をクリアするとARゲーム内の鍵のかかった扉が開く。そんなことが可能になると想像できる。
4つ目は、新たに発表された「RealityKit」というフレームワークだ。レンダリングエンジンによって、表示したARのオブジェクトにアニメーションを付与できる。そのオブジェクトの質量が重いのか、軽いのかといった物理エンジン的な計算も担当するらしい。また、モーションブラー（動きによるブレ）などを再現することで、より肉眼で見たような写実性を高める。
ちなみに、同じく今回発表された「Reality Composer」という新しいアプリにも注目しておきたい（標準搭載ではなくApp Storeで提供される）。同アプリは要するに「KeynoteのAR版」のようなイメージで考えると理解しやすく、オブジェクトを配置して、スライドショーのようにアニメーションを付与できる。例えば、アプリ内に用意された図形やアイコンなどのオブジェクトを空間に配置する。それに対して、どのような順番で表示させ、ジャンプや回転などのアニメーションを付与させられる。
なお、Reality Composerのオブジェクトにおけるアニメーションの開始条件は画面タップだけではない、AR表示にデバイスの距離が近づいたタイミングで動かすこともできるのだ。また、表示する3DとしてUSDZファイルを自力で作成したり、先のMac Proのようにウェブ上から入手できるのであれば、それをアプリ内にインポートして表示させられるという。それこそARで楽しめる洒落たプレゼンテーション資料が作れるかもしれない。
ARアプリを活用しているか？—— という問いに対して、「毎日のように使っている」と答えられる人は筆者も含めてあまりいないのではないだろうか。徐々に質の高いコンテンツも増えてきているが、まだブームを巻きおこすようなキラーコンテンツは登場していないのも事実である。
しかし、こうしたARのコンテンツはゲームにこだわる必要はないと筆者は感じる。今回のMac ProのUSDZファイルの例でも、日常生活に新製品を召喚できるようなことで「ARって面白いかも」と感じた人も多かったはずだ。表示できるデータされあればARは十分に存在意義がある。
今回発表されたAR関連の新機能では、従来できなかったことを克服し、「ここまでできるようになるぞ」という見本が示された。ここに新しい可能性を感じるのはもちろんだが、筆者が一番注目したのは、Reality ComposerによってAR作りを身近に楽しめるという“体験”が生まれることだ。実はこの変化こそ、最も影響力があるのかもしれないと感じている。それぞれがARで表示できる作品を創り、SNS上で共有する——そんな未来に期待したい。
【関連記事】
【WWDC19考察】iTunes終了、Sign in with Appleの意図は？一見ではわかりにくい5つのAppleトピックス