ホーム 研究内容 ニュース 刊行物 アクセス

研究内容紹介

5.3 音声ガイド技術

 視覚に障害がある方にもテレビのスポーツ中継を楽しんでいただくために、生放送番組にも対応可能な新たな解説放送サービス「音声ガイド」の研究に取り組んでいる。研究は、まずアナウンサーの実況がないコンテンツに自動的に解説を付与する「ロボット実況」、次に解説放送を補完する新たな視覚障害者サービス「自動解説放送」の順に実現すべく進めている。2017年度は、スポーツ番組におけるロボット実況サービスの実現と自動解説放送サービスの実現へ向けて、課題の確認を進めた。


ロボット実況の研究とスポーツ番組におけるサービスの実施

 スポーツ番組の生中継映像に、外部から配信される競技関連データから、NHKが自動生成した実況音声と字幕を付与してインターネットとハイブリッドキャストで配信するシステムを構築し、スポーツ番組のロボット実況としてNHKオンラインの特設サイトおよびハイブリッドキャストによるサービスを実施した(配信競技数:4競技(アイスホッケー、カーリング、ボブスレー・スケルトン、リュージュ)、配信本数:17本)(図5-4)。
 2016年度に構築したシステムからの改良点は以下のとおりである。①配信開始時間から終了時間まで設定されたスケジュール表に基づき、試合の実況部分に加えて、試合前のルール解説、試合会場の紹介や試合後の結果一覧等を含めた番組全体を、自動的に制作できるようにした。②実況生成処理中に発話の強調箇所を指定し、音声合成部を制御して音声に反映する手法を開発した。③競技データに含まれる画像データから発話生成に必要な事象を抽出して利用する技術を開発し、一部競技に適用した。④DNNを用いた新しい音声合成装置を開発した(1)。既存の朗読調の学習用音声データに少量の実況調の音声データを加えて合成モデルを学習することで、少量の学習データから高品質な実況調音声を合成可能とした。さらに、実況発話に多い文末強調イントネーションを高品質に再現するために、文末イントネーションを平叙型と強調型に分類してモデルを学習する方式を開発した。



図5-4 ロボット実況のサービスイメージ


視覚障害者向けサービスとしての課題確認

 ロボット実況によって、視覚に障害のある方が競技の状況をどの程度理解できるのかを評価した。音声のみで伝えるラジオとロボット実況を比較した結果、ロボット実況はラジオと同じ程度に競技の状況を理解できることが分かった(図5-5)(2)
 また、テレビとラジオの実況を比較してコメントを分類し、テレビの実況に補足すべき情報を検討した結果、ラジオは競技の状況や発生するイベント以外の情報も多く、ラジオと同程度の情報提要をロボット実況で実現するためには、競技によっては競技データ以外の情報の利用が必要であることが分かった(3)。さらに、実況アナウンサーの音声が存在する番組に対して音声ガイドを付与する自動解説放送について検討した。二つの音声が重なった場合でも、音声ガイドの声質を番組音声と聴感的に分離しやすく工夫することで、番組理解を改善できる見通しを得た(4)



図5-5 ロボット実況(ガイド)の有無による内容把握に関する主観評価結果(5:非常に良い 1:非常に悪い)

ニュース読み上げに向けた音声合成技術の研究

 放送番組への本格利用を念頭に、ニュース読み上げのためのDNN音声合成技術の検討を開始し、学習データ整備などの準備を進めた。


実用化研究

 ハイブリッドキャスト連携アプリを利用して、スマホやタブレット端末で再生する音声ガイドと番組とを同期させるシステムを試作するとともに、外部サーバーを利用してガイド音声の配信にかかる時間を計測し、生放送への対応可能性を確認した。

 

〔参考文献〕
(1) K. Kurihara, A. Imai, H. Sumiyoshi, Y. Yamanouchi, N. Seiyama, S. Sato, I. Yamada, T. Kumano, R. Tako, T. Miyazaki, M. Ichiki, T. Takagi, S. Oshima and K. Nishida:“Automatic Generation of Audio Descriptions for Sports Program,” International Broadcasting Convention(IBC)Conference(2017)
(2) 一木,清水,今井,都木,栗原,宮﨑,田高,熊野,山田,佐藤,清山,山内,住吉:“スポーツ中継におけるバリアフリー放送技術のための音声ガイド技術の検討,” 映情学年次大,33D-2(2017)
(3) 佐藤,住吉,今井,山内,清山,清水,金子,熊野,宮﨑,栗原,一木:“スポーツ実況を補足する自動解説発話の分類,” 映情学年次大,11C-4(2017)
(4) 一木,清水,今井,都木:“スポーツ中継の実況音声と音声ガイドの同時聴取の検討,” 音響学会秋季講演論文集,3-5-7(2017)