展示 15

日本語ニュースからの手話CGアニメーション生成技術

より多くの情報を手話で届けるために

展示概要

日本語文を入力するとCGキャラクターが手話で再現してくれる、手話CG生成技術の研究を進めています。ここでは、入力された日本語ニュース文をろう者にとって分かりやすい形で伝える手話CGを生成するシステムを展示しています。

手話CG制作技術概要

研究の目的

ろう者の中には、手話そのものを母語とする方も多く、日本語のテキストに加えて、手話での情報提供を求める方も少なくありません。私たちは、手話を母語とする方にとって分かりやすい情報提供を目指して、任意文手話生成技術の研究を進めています。

課題

筆記する文化のない手話をCGアニメーションにするには、単語の順番はもちろん、単語の間隔やスピードなどのリズム、口の形や空間の使い方など、日本語から英語のような音声言語間の翻訳にはない要素が非常に重要になってきます。 日本語文から手話を表現するのに重要となるこれらの要素を抽出してCGアニメーションに取り込むことが、手話CG生成の大きな課題です。

どんな技術?

これまで、NHKではろう者に向けて、スポーツ競技のリアルタイムデータからの手話CG実況、気象庁からのデータを基にした気象手話CG生成などの研究開発を行ってきました。

これらの技術は、あらかじめ表現のパターンがある程度決まっている状況下で、たくさんの文章の手話動作をモーションキャプチャーしておき、その動きの一部を入れ替えることによってCG映像を作り出しており、キャプチャした文章と文型が大きく異なる文章については、手話を表現することができませんでした。

今回NHK手話ニュースの10年以上にわたる日本語と手話の対訳データを学習し、日本語から手話単語列への翻訳を行った後、モーションキャプチャーで収録した、各々の単語を滑らかに接続してCGアニメーションを生成する技術の研究を進めています。

この技術を使って入力された日本語を基に手話のCGアニメーションを生成しているデモ映像です。

将来的には任意の文章を手話変換できる技術の確立を目指していますが、今のところ翻訳ができる日本語文はまだまだ制限が多いです。さまざまな情報補償技術とあわせて、誰にとっても分かりやすい情報提供を目指して研究を続けていきます。

詳しい解説

手話の語順は日本語の語順とは異なるため、任意の日本語から手話CGを生成するには、日本語から手話単語列への翻訳が必要となります。日本語から英語など音声言語間のテキスト翻訳は、研究開発が進み、世の中のいろいろな場面で利用されるようになってきています。日本語から手話への変換も同じように出来ないのでしょうか?

技研では音声言語間のテキスト翻訳でよく見られるのと同じようにTransformerというニューラルネットワークのモデルを使って、日本語から手話単語列への翻訳を行っています。
しかし、それだけで手話CGがすぐに実用化へと進まない理由は、以下のような手話ならではの難しさが存在しているからです。

  • 日本語の文は1単語ずつ時系列に並んで文章が構成されるが、手話では右と左で同時に異なる2つの単語が表現される場合がある。
  • 手話は空間内の位置を利用して、時間軸や、東西南北、動作の起点・終点を表現することがある。
  • 指差しや、うなずき、首振り、首傾げなど、それぞれ意味を持つ手話特有の表現が数多く存在する。
  • 一つの手指動作であっても、文脈に応じて表情や口の形でその意味を使い分けることがある。

手話翻訳の仕組みからCG生成までの流れの詳細について、動画でまとめました。

これからもこれらの課題を克服し、サービスの実現に向けて一歩一歩取り組んでいきます。

過去の技研公開での展示

関連文献