ホーム 研究内容 ニュース 刊行物 アクセス

研究内容紹介

5.1 情報提示技術

 聴覚や視覚に障害のある人が放送を楽しむために、スポーツ情報から手話CGを生成する技術と、立体の形状や固さ情報を伝えるための触力覚提示の研究に取り組んでいる。


スポーツ情報の手話CG生成技術の研究

 聴覚に障害のある人がスポーツ番組を楽しめるように、スポーツ番組でCGキャラクターがスポーツ内容を手話で解説する「スポーツ情報の手話CG生成技術」の研究を2017年度より開始した。
 スポーツの試合中に配信される競技データを用いて、試合中の競技状況やルールなどの手話CGを自動生成するシステムを試作した。あらかじめ、選手名や点数などを差し替えられる手話CGのテンプレートを用意しておき、試合中は競技データをテンプレートに当てはめて手話CGをリアルタイムに生成する。技研公開2017では、手話CGによる競技情報とともに、画像やテキストによる個々の選手情報や、試合会場の盛り上がり情報などをタブレット端末で提示するアプリケーションを展示した(図5-1)。また、競技動画と手話CGをWEBブラウザー上に表示するシステムを試作し、局内実験を実施した。
 また、スポーツニュースの任意文から手話CGへの機械翻訳の研究も開始した。その基盤技術として、2017年度は収集したスポーツニュースと手話通訳士による翻訳結果を用いて、スポーツニュースコーパスを約3,000文対構築した。スポーツニュースは長文となり構文構造が複雑で機械翻訳が困難なため、手話の構文構造を解析するシステムを試作した。また、2016年度に開発した修正インターフェースを用いて、手話CGの品質に関する評価実験を行った。聴覚障害者による指文字の読み取り実験では、動きを修正することにより正解率の向上を確認した。
 2017年2月に一般公開した関東7都県の気象情報の手話CG評価サイトでは、約500件程度のアンケート結果が得られ、おおむね理解できるとの回答が9割を占めた。一部、「数字が顔と重なり見えにくい」、「手が他の肌と重なり見えにくい」という意見を頂いたため、数字表現の手や指が顔に重ならないよう変更するとともに服装の変更や色調整等の改修も進めた。これらの研究の一部は工学院大学と共同で実施した。



図5-1 試作したスポーツ手話CGアプリケーション

触れるテレビの実現に向けた触覚提示技術の
研究
 映像に含まれる動きの情報を、人の皮膚を介して伝える技術の研究を2017年度に開始した。現在、音声情報による伝達が難しい、動きの速いスポーツコンテンツを対象にして、ボールの移動方向や技の種別を触覚で伝える手法の開発に重点を置いている。2017年度は、機械刺激を摺動・振動・加速度の3種類に分類し、それらの刺激の知覚と弁別のための基礎的な条件の洗い出しを進めた。摺動の研究では、皮膚をこするように直線上を移動する刺激子によって、動きの速さと方向を伝えられることを明らかにした。振動の研究では、手のひらで包み込める大きさの立方体の各面に振動を提示する装置を開発し、各面の振動を他の面に伝搬させないための工学的知見を得た。一般的に皮膚への刺激に対する感じ方の個人差は大きいが、刺激の強さと繰り返しの速さを調整し、各人に適した刺激を使うことで情報提示に応用できることが分かった。(図5-2)この研究の一部は新潟大学および山形大学と共同で実施した。
 視覚障害者に教科書の図や墨字の形などの2次元情報を伝える技術の研究では、上下するピンアレーによって凹凸や振動で形状や線を提示する触覚ディスプレーと、力覚ロボットアームで指先を誘導して伝える方式とを複合した、力覚誘導提示システムの開発を進めている。2017年度は、これまでに教育応用を目指して開発した、LAN経由でリモート制御が可能な力覚誘導提示システムの実証評価を進めた。先生が複数の生徒の指を同時に遠隔誘導できる機能を、鍼灸の模擬授業の中で評価し、新たな教育方法として有効な手段であることを確認した。また、漢字・かな文字の学習ツールの機能拡張を目的として、文字の書き順を提示する機能を追加した。さらに、点字を習得していない盲ろう者が、かな文字の文書を読むことができるユーザーインターフェースを開発した。これらにより、本システムが教育や福祉の現場で多目的に利用できる見通しを得た。この研究の一部は、筑波技術大学と共同で実施した。



図5-2 振動キューブ(外観)と振動伝搬を抑制する構造

 

〔参考文献〕
(1) T. Uchida, T. Miyazaki, M. Azuma, S. Umeda, N. Katou, H. Sumiyoshi, Y. Yamanouchi, N. Hiruma:“Sign Language Support System for Viewing Sports Programs,” Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility, ASSETS2017, pp.339-340(2017)
(2) 梅田,内田,東,宮崎,加藤,住吉,比留間,山内:“分かりやすい手話CG生成のための単語接続方式の提案と評価,” 信学技報WIT, Vol. 117, No. 251, SP2017-51, WIT2017-47, pp.95-100(2017)
(3) M. Azuma, T. Handa, T. Shimizu, S. Kondo:“Development of Vibration Cube to Convey Information by Haptic Stimuli,” HAPp1-5L, Proceedings of the 24th International Display Workshops, Vol. 24, pp.128-130(2017)
(4) T.Sakai, T. Handa, M. Sakajiri, T. Shimizu, N. Hiruma and J. Onishi:“Development of Tactile-Proprioceptive Display and Effect Evaluation of Local Area Vibration Presentation Method,” Journal of Advanced Computational Intelligence and Intelligent Informatics(JACIII),Vol. 21, No. 1, pp.87-99(2017)
(5) 近藤,半田,東,清水,渡辺,“手掌部表面を移動する突起物の高さが圧刺激の知覚に及ぼす影響,” 映情学技報Vol. 42, No. 4, pp.277-281(2018)