Appleが「WWDC19」で発表した技術に関して、ARの進化に注目したい。筆者としては、今年のアップデートでようやくARが一般に普及する準備が整ったと感じている。
【関連記事】
【WWDC19考察】iTunes終了、Sign in with Appleの意図は？一見ではわかりにくい5つのAppleトピックス
まず「ARKit」とは何か
そもそもAR （拡張現実、Augmented Reality）とは、スマートフォンなどのカメラを通じて撮影した現実世界の映像に対し、リアルタイムで映像を重ねる技術だ。映像だけの世界観に没入するVR（仮想現実、Virtual Reaklity）と比べると、「現実」が見えているのが特徴。例えば、セルフィー用のカメラアプリで、顔にリアルタイムで猫耳とヒゲを付け加えるような機能も、広義のARに相当する。カメラが読み込んだ顔のパーツを自動で認識し、必要な部分に必要な映像を重ねているわけだ。
しかし、ご想像の通り、AR対応のアプリをディベロッパが自力で開発するには、相当のリソースを要する。よほど精通した者でない限り、独自開発は現実的ではないだろう。だからこそ、AppleはARアプリの開発に必要な部品を「ARKit」としてディベロッパに解放してきた。ディベロッパはこのフレームワークを活用することで、比較的簡単にARアプリを開発できるようになった。
ARKitはiOS11とともに登場した。そして、昨年のWWDC18では「ARkit 2」が発表され、同年秋からすでに提供されていた。こちらのバージョンでは、環境マッピングが強化され、壁や床、机の上などを正しく認識するようになった。影や反射もリアルに再現される。また、ARの世界を複数人で共有し、一度表示したARをその場に固定できるまでに達していた。要するに、ARKit3が一般に提供されていない現時点でも、ARのクオリティは相当高かったのだ。
例えば、今回のWWDC19で発表された「Mac Pro」は、公式サイト上でUSDZファイル（3D画像のデータ）が用意されており、iOSデバイスのカメラを通じてAR表示で製品を確認することができるようになっている。試してみてもらうのが一番手っ取り早いが、表示させるオブジェクトがリアリスティックであれば、現実と見間違うほどのクオリティで再現されるのが分かる。手動でサイズを調整できることもあり、巷では巨大なMac Proを表示させたり、手のひらサイズのMac Proを表示させたりして記念撮影を楽しむ人も多く見られた。これらはARKit 2で既に実現できていたものだ。
しかし、既存のARには弱点もあった。それは人がAR空間に正しく介在できないということだ。ARKit3ではこの辺りが大きく改善される。
今年のARはどう進化するのか？
ARKit3における進化は、大きく4つある。一つは、人がARで作成した世界観に重なったとき、人を認識して正しい前後関係を反映できるようになったこと。これは「People Occlusion（オクルージョン）」という機能で、要するにARで人をサンドイッチできることを意味する。
例えば、手前に松の木があり、その奥に人がいて、さらに後ろに海と富士山というレイヤーがあるとすれば、人は松の木の後ろに隠れることが可能になる。キーノートのデモで、Minecraft Earthの世界観に人が入り込む様子が紹介されていたのはご存知の通り。リアルタイムに全てのピクセルで人なのかどうかを判断し、レンダリングできるのは、高精度マシンラーニングとそれを実現する端末の賜物だ。
2つ目は、モーションキャプチャーが可能になったことだ。カメラで撮影した人間の関節の動き方を取得でき、2Dあるいは3Dの骨格をキャプチャーし、アプリ内にインポートできる。これによって所謂「インバースキネマティック」という手法（骨格とオブジェクトを連動させるアニメーション手法）が使えるようになるのだ。先のMinecraftのデモでは、カメラに映った人の動きが、そのままゲーム内のキャラクターに反映されていた。特撮のようなマーカーをつけたスーツを着ることなく、iOSデバイスさえあれば、誰もが手軽に仮装のキャラクターに動きをつけられるわけだ。
想像するに、リアルタイムでVTuber的なフィルターをかけるようなアプリが増えるのではないだろうか。あるいは、洋服のARを人に重ねて表示するようなアプリがでてくれば、ウェブ通販の試着をバーチャルに行えるようになるかもしれない。
3つ目は、フロントカメラとリアカメラの映像を同時に取得してARに反映するという技術だ。例えば、ARゲームアプリで端末利用者に「笑え」と指示があり、その指示をクリアするとARゲーム内の鍵のかかった扉が開く。そんなことが可能になると想像できる。
4つ目は、新たに発表された「RealityKit」というフレームワークだ。レンダリングエンジンによって、表示したARのオブジェクトにアニメーションを付与できる。そのオブジェクトの質量が重いのか、軽いのかといった物理エンジン的な計算も担当するらしい。また、モーションブラー（動きによるブレ）などを再現することで、より肉眼で見たような写実性を高める。
ちなみに、同じく今回発表された「Reality Composer」という新しいアプリにも注目しておきたい（標準搭載ではなくApp Storeで提供される）。同アプリは要するに「KeynoteのAR版」のようなイメージで考えると理解しやすく、オブジェクトを配置して、スライドショーのようにアニメーションを付与できる。例えば、アプリ内に用意された図形やアイコンなどのオブジェクトを空間に配置する。それに対して、どのような順番で表示させ、ジャンプや回転などのアニメーションを付与させられる。
なお、Reality Composerのオブジェクトにおけるアニメーションの開始条件は画面タップだけではない、AR表示にデバイスの距離が近づいたタイミングで動かすこともできるのだ。また、表示する3DとしてUSDZファイルを自力で作成したり、先のMac Proのようにウェブ上から入手できるのであれば、それをアプリ内にインポートして表示させられるという。それこそARで楽しめる洒落たプレゼンテーション資料が作れるかもしれない。
ARアプリを活用しているか？—— という問いに対して、「毎日のように使っている」と答えられる人は筆者も含めてあまりいないのではないだろうか。徐々に質の高いコンテンツも増えてきているが、まだブームを巻きおこすようなキラーコンテンツは登場していないのも事実である。
しかし、こうしたARのコンテンツはゲームにこだわる必要はないと筆者は感じる。今回のMac ProのUSDZファイルの例でも、日常生活に新製品を召喚できるようなことで「ARって面白いかも」と感じた人も多かったはずだ。表示できるデータされあればARは十分に存在意義がある。
今回発表されたAR関連の新機能では、従来できなかったことを克服し、「ここまでできるようになるぞ」という見本が示された。ここに新しい可能性を感じるのはもちろんだが、筆者が一番注目したのは、Reality ComposerによってAR作りを身近に楽しめるという“体験”が生まれることだ。実はこの変化こそ、最も影響力があるのかもしれないと感じている。それぞれがARで表示できる作品を創り、SNS上で共有する——そんな未来に期待したい。
【関連記事】
【WWDC19考察】iTunes終了、Sign in with Appleの意図は？一見ではわかりにくい5つのAppleトピックス