聴覚や視覚に障害のある人も含むあらゆる視聴者に情報を分かりやすく伝えるため、スポーツ情報から手話CGを生成する技術や、競技の進行と動きの情報を触覚へ伝える技術の研究を進めるとともに、嗅覚への情報提示の研究に着手した。

■スポーツ情報の手話CG生成技術の研究

　手話を母語とする方への放送サービス拡充のため、スポーツ競技に関する情報を対象として、CGによる手話アニメーションを生成する技術の研究を進めている。
　試合中に配信される競技データと事前に用意したテンプレートを組み合わせて、手話CGと日本語字幕を自動生成し、試合進行に合わせてWebブラウザ上で提示するシステムを開発した。アイスホッケーとカーリングの試合を対象として実施したリアルタイム自動生成・提示実験の結果を、技研公開2018にて展示した。生成したコンテンツを用いた評価実験により、サービス実施に向けて提示すべき情報や画面上のレイアウトに関する指針を得た（図5-3）^（1）。
　スポーツニュースに関する日本語文の手話CG機械翻訳の研究では、構文構造が複雑な文章に対応するため、日本語の構文構造を手話の構文構造に変換して語順を並べ替える構文トランスファー方式による自動翻訳システムを試作した。構文構造の変換には、日本語の構文解析結果と、2017年に開発した手話構文解析結果から機械学習したデータを用いる。また、翻訳結果の誤りを手話単語の並べ替えや置換により手作業で修正できる手話CG制作支援システムの開発も進めた。このシステムで出力した手話CGアニメーションを用いた評価実験において、効率的な修正のため、置換する単語・句を適切に提示する機能が必要であることを確認した^（2）。文脈や単語の印象により適切な表情を付加する機能の開発と、実際の運用を想定した制作支援システムの評価実験に関する検討を開始した。
　さらに、機械翻訳の精度向上に必要な対訳コーパスの拡充を目指し、画像認識により手話動画をテキストに変換する技術の研究開発に着手した。深層学習を用いた手話認識の先行研究の検証を進め、日本手話の学習データを用いた評価実験を実施した。深層学習の有効性を確認するとともに、日本手話の認識率向上に必要な学習データに関する知見を得た。
　技研では、2017年2月から関東地方の気象情報の手話CGをNHKオンラインで公開し、わかりやすさを評価していただく試みを進めている。現在の関東1都6県の都県庁所在地から、全国47の都道府県庁所在地の定時予報に拡充するため、気象手話CG生成システムの試作と動作検証を進めた。これらの研究の一部は、工学院大学と共同で進めた。

■触れるテレビの実現に向けた触覚提示技術の研究

　映像に含まれる動きの情報を人の皮膚に伝える技術の研究を進めている。音声情報による伝達が難しい、動きの速いスポーツコンテンツにおける選手やボールの移動方向、ボールが床や壁、ラケットなどに衝突したタイミング、などを伝えることを主な目的としている。そこで動きやタイミングを触覚提示するために、振動・摺動・加速度の3種類に分類した刺激を利用することとした。2017年度は、それらの刺激の知覚と弁別のための基礎的な条件の洗い出しを進め、動きやタイミングの伝達が可能であることを示した。2018年度は、仮想のスポーツコンテンツの映像・音声に、触覚への刺激を人工的に付加して、試合の流れや得点の入ったチームを把握できるかを実験的に検証した。視覚障害者を対象とした実験の結果から、映像情報が無くても試合状況を把握できることが分かった。テニスにおけるボールの往来を、皮膚への圧刺激を直線運動させる摺動で提示した実験では、ボールの移動方向を伝えられる一方で、移動の速さの変化は伝わりにくいなど、知覚・認知特性も明らかになってきた。
　昨年度開発したキューブ型の振動デバイスを、手で保持し続ける必要がないように4つの振動子で手腕部を刺激するリストバンド型ハプティックデバイスを開発した（図5-4）^（3）。このデバイスを使ってバレーボールにおける選手のサーブ・レシーブ・トス・アタックなどのアクションや、ボールのラインイン・アウトを振動で表現し、視覚障害者、聴覚障害者それぞれによる評価実験で一定の情報が伝えられることが分かった。
　大きな加速度を持つ振動によって衝撃を擬似的に伝える実験では、手掌部に振動を提示するボール型ハプティックデバイスを開発し（図5-5）、提示する振幅の大きさと音声情報の音量・種別などを可変させて組み合わせることで、視覚情報無しに試合の進行状況も把握できる可能性が見いだせた^（4）。今後、AR/VR技術と組み合わせたより豊かなコンテンツ表現や、競技のイベント情報からのリアルタイム提示を目指して、研究を進めていく。この研究の一部は東京大学、新潟大学と共同で実施した。
　言葉では説明が難しい図やグラフなどの2次元情報を視覚障害者に効果的に伝える技術の研究では、上下するピンアレーによる凹凸や振動によって提示する触覚ディスプレーと指先を力覚ロボットアームにより誘導して重要なポイントを伝える方式とを融合させた触覚/力覚誘導提示システムの開発を進めている^（5）。2018年度は、視覚障害者の文字学習や盲ろう者のコミュニケーション支援にも利用できるよう、システムの多目的化を目指した開発を行った。通常、点字を未習得の視覚障害者や盲ろう者に文字を伝える場合、介助者が盲ろう者の手のひらの上に指で文字をなぞって伝えることが多い。ユーザーの指を文字の書き順で誘導提示する方式を開発し、評価実験によって手のひら書きよりも文字の認識率が高いことが確認できた。これによって、本システムが学習ツールだけではなく、盲ろう者のコミュニケーション支援にも有効である見通しを得た。この研究の一部は、筑波技術大学と共同で実施した。

■嗅覚情報提示手法の検討

　より豊かな視聴体験の提供を目指し、嗅覚情報提示手法に関する研究に着手した。嗅覚情報提示技術に関する先行研究や最新動向を調査するとともに、嗅覚情報の付与が有効である放送コンテンツに関して検討した。また、映像との同時提示による効果的な嗅覚情報提示手法に関する検討にも着手した。

 

〔参考文献〕
（1）	T. Uchida, H. Sumiyoshi, T. Miyazaki, M. Azuma, S. Umeda, N. Kato, Y. Yamanouchi and N. Hiruma:“Evaluation of the Sign Language Support System for Viewing Sports Programs,” International ACM SIGACCESS Conference on Computers and Accessibility, pp.361-363 (2018)
（2）	梅田，加藤，東，内田，金子，比留間，住吉: “機械翻訳後に手修正可能な手話CG制作支援システム，” 電子情報通信学会HCGシンポジウム， A-7-5 (2018)
（3）	M. Azuma, T. Handa, T. Shimizu and S. Kondo: “Hapto-band: Wristband Haptic Device Conveying Information, ”Lecture Notes in Electrical Engineering, Vol.535 （3rd International Conference on Asia Haptics）, Kajimoto, H. et al eds., Springer, D2A17, (2018)
（4）	T. Handa, M. Azuma, S. Shimizu and S. Kondo: “A Ball-type Haptic Interface to Enjoy Sports Games, ”Lecture Notes in Electrical Engineering, Vol.535 （3rd International Conference on Asia Haptics）, Kajimoto, H. et al eds., Springer, D1A16, (2018)
（5）	坂井，半田，清水:“2次元情報を伝える触覚/力覚誘導提示方式の開発と評価　-力覚誘導条件が空間位置認知に与える影響-，”信学論（D），Vol.J101-D， No.3，pp.628-639（2018）