アイウエアブランドのJINSが今秋、スマートグラス「JINS MEME（ジンズ ミーム）」を一新。“ココロとカラダのセルフケア”ができるモデルとして発売しました。そして12月1日には、JINS MEMEをエンターテインメント用途で楽しめるアプリ「VTUNER」が登場。これらの上手な楽しみ方をジンズの開発担当者に聞いてきました。
眼鏡でアバターを操作できるコントローラーアプリ
JINS MEMEは本体に内蔵する複数のセンサーを使って目と体の動きを検知。独自のアルゴリズムによって座位や歩行時の姿勢、心の状態、集中度などを専用アプリ「JINS MEME App」に可視化できるデバイスです。10月14日から全国100店舗で展開するJINS MEME取扱店やJINSオンラインショップで販売を開始しています。価格はJINS MEME本体が1万9800円（税込）で、初年度のアプリ利用料が無料。
VTUNERはJINS MEMEが内蔵するセンサーを使って取得した情報を、iPhoneの画面に表示されるアバターの体や瞳に動きとして反映して、簡易なアバターコントローラーのように楽しめるiOS専用の無料アプリです。
VTUNERの企画開発を担当するジンズの田村稜介氏によると、JINS MEMEにエンタメ的機能を加えるアプリの構想は約2年前に立ち上がったそうです。「JINS MEMEのセンサーによるアイトラッキングやモーショントラッキングの機能を活かせて、なおかつ屋外でもアバターを眼鏡で操作しながら撮影していることを悟られることなく、気軽に楽しめるコントローラーアプリです。VTuberに挑戦したことがない方もぜひ、iPhoneで撮影した写真や動画にアバターを配置してSNSにアップするなどで、遊んでみてください」と田村氏は呼びかけています。
iPhoneで撮影した写真や動画にアバターを重ねて動かせる
使い方は、iPhoneとBluetoothで接続したJINS MEMEを装着してから、VTUNERアプリを起動します。
VTUNERには公式キャラクターのヒトミミコトのほか2体のアバターがプリセットされています。アプリ上でJINS MEMEとの接続が完了すると、ユーザーの頭や目の動きにアバターが応答していることがすぐにわかります。
↑JINS MEMEが動くと画面の中のアバターの動作に素早く反映されます。また、眼電位センサーで取得したまばたきの情報もアバターが忠実に再現します
JINS MEMEが搭載する3点式眼電位センサーは、まばたきや眼球の動きをキャッチします。そして6軸モーションセンサーがJINS MEMEを装着したユーザーの動作を検知。首を軸とした頭の動き、または腰を軸とした胴体の動きがアバターに反映されます。このほか、iPhoneのマイクで拾った音声がアバターの口元の動きと自動的にシンクロします。
アバターの表情に加え、手元や体のアクションを表現する複数のプリセットもあり、それぞれアプリの画面に表示されるセレクターをタップして切り換えます。
アバターの“背景”にはiPhoneのカメラが捉えている画像が表示され、そのままアプリの録画開始アイコンをタップすると、JINS MEMEユーザーの動きをアバターに反映させた動画が収録されます。アプリの背景画像には、あらかじめ撮影した写真や動画を読み込んで配置することも可能です。
また、アバターは「Create Avatar」からプリセットを選べます。カスタムメイドのアバターという位置付けですが、髪型や服装を自由に変えられるわけではありません。もし完全にオリジナルのアバターをVTUNERアプリで動かしたい場合は、VRM形式で作成したアバターのデータをアプリに取り込んで使うこともできます。
VTUNERアプリで動画を作ってみた
筆者もVTUNERを使ってすごくシンプルな動画を作ってみました。
アバターを表示する位置や大きさは画面上で微調整できます。その後、画面右上のメニューからiPhoneのフォトアプリに保存されている写真を読み込んで、VTUNERアプリの録画開始ボタンをタップします。
iPhoneのアウトカメラでズームすると、背景画像のズームインアウト表示が連動します。
動画では、被写体に選んだ“パフェ”について、音声解説を吹き込んでみました。iPhoneの内蔵マイクでも十分きれいに声は録れますが、賑やかな屋外などで撮影する場合はiPhoneに直結できるピンマイクなど、外付けアクセサリーがあると便利です。
撮影した動画はiPhoneのフォトフォルダに保存されるので、YouTubeやSNSへのアップも簡単にできます。
↑試しがてらにスイーツ紹介動画を作成してみました。iPhoneのマイクが拾っている声にアバターの口元の動きがシンクロします
VTUNERは誰でも簡単にアバターで遊べる無料アプリとして、とてもよくできていると思います。JINS MEMEがあればアバターの操作ができてなお良しですが、JINS MEMEなしでも一部の機能は利用可能。とりあえずiPhoneにアプリを入れて無料で試してみてもよいと思います。
機能や使い勝手はさらにブラッシュアップされる予定
VTUNERはJINS MEMEを中心とする実験的プロジェクト「JINS MEME Lab」の第1弾として、ベータ版的な立ち位置でリリースされたアプリです。そのためか、iPhoneのカメラを遠くの被写体にズームインすると画面が一時的に固まってしまったり、動画にテロップを挿入するたびに録画を一時停止しなければならなかったりと、ユーザーインターフェイスに若干使いづらさが残るところもあります。
ジンズの田村氏は「おかげさまでVTUNERアプリのリリース後からたくさんのフィードバックをいただいています。機能追加やユーザーインターフェイスの改善など、いただいた声について精査しながら、対応可能なものからソフトウェアアップデートにより追加していきたいです」とコメントしています。
たとえば現在、ユーザーが声を発し続けないとアバターが口を開けた状態で止まってくれないため、「あいうえおの口の状態でアバターを固定して、画面キャプチャを録れる機能」の追加を計画しているそうです。ほかにも「無料のVRM形式のアバターファイルを追加するためのプロセスが煩雑なので、プラットフォームを提供するサービス事業者とパートナーシップを組んで、VTUNERアプリから新しく無料のアバターを検索・ダウンロードできる機能を付けたい」と田村氏は話しています。どちらもアップデートにより、新機能として実装される予定が近々あるそうです。
12月1日にVTUNERアプリの提供を開始してから、JINS MEMEへの問い合わせや販売への良いフィードバックも寄せられているそうです。
筆者もVTUNERを試してみて、単体のクリエイティブなアプリとして十分に楽しめました。そしてそれ以上に、今後Web会議の定番コミュニケーションアプリやゲーム実況の配信アプリにアバターを表示して、JINS MEMEで画面内のプレゼンテーションを操作できるようになれば、また活用の幅が広がると可能性を感じました。
ちなみにJINS MEME Labの第2弾として、JINS MEMEが取得した目や頭の動きを、PCやスマホなどペアリングしたデバイスの、マウスポインターの操作に反映させる「CONTROLLER」の開発も進んでいるそうです。異色のスマートグラスが画期的なソフトウェアと結びつきながら、これからどのように進化していくのか楽しみですね。
【フォトギャラリー】※画像をタップすると閲覧できます。一部SNSからは閲覧できません。