手や腕、口の動き、表情などを用いた言語である手話。でも一般的に言えば、手話は勉強をしなければ理解することができません。では、昨今よく見られるようにAIを使って手話を異なる言語に翻訳することはできないのでしょうか? そこで開発されたのが、手話をリアルタイムで音声言語に変換するグローブです。
アメリカのカリフォルニア大学ロサンゼルス校の研究チームは、手話を使う人が、ほかの人の手助けを借りずに、手話がわからない人と直接コミュニケーションを取れる方法を模索するため、このグローブの開発を始めました。
開発されたグローブは左右の両手にはめる手袋タイプ。5本の指には伝導性の糸でできたセンサーが付けられており、手や指の動きを感知することができます。このグローブは手や指の動きを手首部分についた硬貨ほどの大きさの基板にデータとして送り、そこからスマートフォンにワイヤレスで送信。手話は1秒に1単語のスピードで音声言語に変換されます。
そして、このグローブには人工知能を搭載。開発段階では、手話を使っている4人が協力し、一つひとつの手話の動作を15回繰り返しながら機械学習アルゴリズムを訓練。その結果、0～9の数字とそれぞれのアルファベットを含む660の手話を識別できるようになったそうです。
さらに、研究チームは手話を行うときの人の表情にも着目。眉や口角にセンサーをつけ、手話を行いながら人の表情がどんなふうに動くのかを捉える実験も行ったそうです。
実際にこのグローブを使って手話を行い、それを専用アプリが言語に変換する様子を動画で見てみると、グローブの手の動きから音声となるまでわずかな時間差はありますが、細かい手指の動きをきちんと把握して言葉に変換できていることがわかります。
現在は単語を変換することしかできないようですが、さらに開発が進めば複雑な文章を翻訳することもできるようになるかもしれません。さまざまな困難があるのでしょうが、翻訳や文章作成を含む言語におけるAIの発展を踏まえると、AIが手話も通訳するというのは必然の成り行きかもしれません。