ホーム 研究内容 ニュース 刊行物 アクセス

研究内容紹介

3.2 サービス連携技術

 インターネットやIoT機器、AR技術などの最新のIT技術を活用し、テレビと世の中の各種サービスを連携させることで、日常生活のさまざまな場面で新しいテレビ体験を提供するサービス連携技術の研究を進めている。


テレビ視聴と生活行動をつなげるシステム

 テレビ視聴とネット利用、さらには現実の生活行動にもつながる、利便性の高い放送通信連携サービスの実現を目指して、放送をさまざまなアプリケーション(アプリ)やIoT機器と連携させる基盤技術(行動連携技術)の研究開発を進めている。
 2017年度は、視聴者がスマートフォン(スマホ)のアプリなどから簡単な操作で安全・安心に放送通信連携サービスを利用できるようにするため、ハイブリッドキャスト端末連携アーキテクチャの拡張を提案し、スマホなどの端末からハイブリッドキャストアプリを起動可能とする端末連携プロトコルの標準化を、IPTVフォーラムにおいて推進した。技研公開2017では、民間放送事業者やメーカーなどの協力を得て、昨年度設計・試作した端末連携アーキテクチャに対応したプロトタイプを用いた約10のサービス事例を展示し、本アーキテクチャの有効性を確認した(1)。また、IBC、CEATEC、InterBEEなどの展示会を通して、本アーキテクチャを国内外にPRした。さらに、スマホを起点としたテレビ視聴機能の有効性を、1,000人規模の評価実験により検証し、視聴者に一定のニーズがあることを確認した(2)(3)
 本アーキテクチャを基盤とし、近年普及が進むIoT機器を活用する研究にも取り組んでいる(図3-6)。2017年度は、放送局のデータ・コンテンツとIoT機器を簡単に結び付けてサービスを行うシステムモデルを検討した(4)(5)。また、音声アシスタントデバイスの機能と端末連携アーキテクチャを結びつけるための仲介機能を開発し、音声アシスタントデバイスの違いによらず放送サービスとさまざまなサービスの連携を可能にするアプリの試作を行った(6)
 視聴情報や行動情報などのパーソナルデータを活用することで、番組の視聴がテレビの前だけにとどまらず、日常生活のさまざまな行動の中で新たな気付きや価値を提供するための検討も進めている。2017年度は、ユーザーの視聴ログを利用して、自動車の運転中に、番組に関係する観光地などの情報をHUD(ヘッドアップディスプレー)に表示したり、前日に視聴した番組の話題をクイズの形で語りかけて運転者の眠気を覚ましたりするなど、放送と運転中の行動を結び付けるサービスを試作・展示した(7)(図3-7)。さらに、パーソナルデータをユーザー主導で利用し、ユーザー行動に応じた番組関連情報を提示するシステムを検討した(8)。また、IPTVフォーラムにおいて策定が開始された、番組視聴データを放送局などのサービス事業者が共通で利用するための「視聴データ記述および利用ガイドライン」について、技術仕様案作成に寄与した。



図3-6 放送とIoT連携のサービス例


図3-7 放送と自動車の連携における視聴情報の活用例

ハイブリッドキャスト普及のための取り組み

 ハイブリッドキャストサービスの普及を促進するための技術課題にも取り組んでいる。テレビ受信機上で動作するハイブリッドキャストブラウザーのパフォーマンスを評価するため、2016年度に引き続き、2017年度も「IPTVフォーラム パフォーマンステストイベント」を実施した。放送事業者と受信機メーカーが受信機のパフォーマンスの現状と課題を共有でき、サービス向上や受信機性能の向上に生かせる機会となった。
 ハイブリッドキャストアプリケーションの国際展開を目的に、欧州を中心にサービスが展開されているHbbTVとの相互運用を可能にするための技術手段の検討を進めた。両者で等価なアプリケーションを生成する装置も開発している。2017年度は、欧州方式の動画配信に対応させるなど、機能拡張を検討した。また、HbbTVのサービスの現状を欧州で調査し、今後の相互運用性について欧州の関係者と意見を交換した。


番組情報利用

 放送番組とインターネットのさまざまなサービスを容易に連携できる、番組関連情報のデータ構造化技術を活用し、ユーザーの番組内容の理解をサポートする研究を進めている。2017年度は、小中学生の理科の学習指導要領から構造化データを生成し、その構造を用いて動画コンテンツを体系化、関連づける仕組みを開発した。本技術は、NHKオンライン上のウェブサイト「りかまっぷ」で利用され、2016年4月にサービスが開始された。また、コンテンツのテーマの理解・把握に関し、異なるジャンルの関連コンテンツを一緒に提供することの有効性を検証するため、制作局と連携し、通信制高等学校3校で実証実験を行った。実験では、NHK高校講座と一緒にニュースや一般番組を視聴することによる、 生徒の理解促進や学習意欲向上などの教育効果を評価した。


テレビ視聴ロボット

 家庭でテレビ番組を一緒に楽しく見るパートナーとして、テレビ視聴ロボットの研究を行っている。2017年度は、テレビおよび人の方向を自動検出する機能と、テレビ番組の字幕文から発話文を自動生成する機能を実験用コミュニケーションロボットに組み込み、試作機を開発(9)して技研公開2017などで展示した(図3-8)。
 テレビ視聴時に近くにロボットがいる場合の効果を評価する実験準備として、ロボットの発話としぐさをリモート制御する実験システムの開発と、家庭のリビングを模した視聴実験ルームの整備を行った。リビングルームのロボットに搭載したカメラ画像から、周囲のテレビおよび人の方向を検出する機能の性能を評価したところ、人の横顔や後頭部の画像を利用した場合に人物位置検出精度に低下があること、ロボットと人の視線を合わせるために検出精度やロボット制御の改善が必要であることなど、課題を抽出した(10)
 ロボットが視聴中の番組内容に関連して自発的に発話する機能を実現するため、発話生成技術の開発を進めた。2017年度は字幕文に含まれるキーワードが、ロボットが学習していない未知の語彙であっても、学習済みの語彙の中から近いキーワードを予測し、その語を元に発話文を生成するアルゴリズムを開発した。
 インターネットに接続したコミュニケーションロボットはIoT機器の一種であり、個人情報や秘匿データを取り扱う可能性があることから、情報セキュリティへの対応が求められる。さらに、人工知能(AI)による学習機能を伴う自律的な行動をするロボットでは、人に倫理的な影響を与える可能性もある。そこで、情報セキュリティ対策や人的影響への対策を考慮した開発ガイドラインの検討を始めた。2017年度は、国内外のロボットやAIのガイドライン策定の動向を調査し、研究開発中のテレビ視聴ロボットを1つの実例としてその論点を整理した(11)



図3-8 テレビ視聴ロボット

AR端末を使った視聴体験

 現実の3次元空間に仮想的な物体を配置できるAR技術を用いた、眼鏡型AR用ディスプレー“ARグラス”が近い将来広く普及することが想定される。そこで、ARグラスをテレビ視聴に応用した研究を開始した。ARグラスを装着したユーザーが見る実空間上に仮想的なテレビを配置し、そこに表示された2次元映像を“Virtual TV”と名づけて、Virtual TVによる新しい視聴体験の検討を行った。これまでの実空間に置かれたテレビというハードウエアの物理的な制約に縛られず、表示の自由度が高いというVirtual TVの特徴に着目し、視聴体験に関する技術研究要素をReality(実在感)、Visibility(可視性)、Interactivity(双方向性)の3つの軸で整理した(12)。この研究は、カリフォルニア大学サンタバーバラ校フォーアイズラボと共同で実施した。


 

〔参考文献〕
(1) 大亦,池尾,小川,山村,宮崎,上原,藤沢:“Hybridcast Connect X:生活行動と番組視聴のシームレスな連携を可能にするアプリケーションフレームワークの提案,” 情処学DICOMO2017シンポジウム論文集,pp.360-369(2017)
(2) 大亦,池尾,藤沢,上原:“テレビとスマートフォンにおける動画配信サービスの利用実態調査とキャスト機能のニーズ分析,” 映情学年次大,12C-2(2017)
(3) 瀧口,池尾,大亦,藤沢,藤井:“番組情報の提示と端末連携機能を用いたテレビ視聴に関する考察,” 情処学年大,7D-06(2018)
(4) H. Ogawa, M. Ikeo, H. Ohmata, C. Yamamura and H. Fujisawa: “System Architecture for IoT Services with Broadcast Content,” IEEE ICCE, CT05-3(2018)
(5) 小川,大亦,山村,藤井,藤沢:“IoT機器の使用による放送局のデータ・コンテンツの活用機会拡大に向けた検討,” 情処学全大,7D-04(2018)
(6) 平松,小川,池尾,藤沢:“音声アシスタント機能を使用したテレビ操作に関する一検討,” 映情学冬大,15C-5(2017)
(7) 小川,山村,澤田,近藤,藤沢:“自動車向けサービスにおける番組関連データ活用方法の検討,” 映情学年大,12C-1(2017)
(8) 関根,藤沢,藤井:“ユーザー主導によるパーソナルデータ管理を用いた番組関連データ利活用モデルの検討,” 情処学全大,7D-05(2018)
(9) 金子,星,上原:“人と一緒にテレビを視聴するロボットの機能検討と試作,” 日本ロボット学会学術講演会,RSJ2017AC1I2-04(2017)
(10) 星,金子,上原:“テレビ視聴ロボットに搭載したカメラとマイクロフォンアレイを用いたテレビ及び人の方向検出手法,” 映情学年大,34B-4(2017)
(11) 村﨑,金子,星,上原:“テレビを一緒に視聴するロボットの開発ガイドライン策定に向けての一考察” 情処SPT/EIP/DPS合同研究会,Vol. 2017-EIP-78, No. 14(2017)
(12) 川喜田,藤沢,Höllerer:“Research Challenge of 2D Moving Picture on AR Glasses as a New TV,” 2017年映像情報メディア学会冬季大会講演予稿集,21C-2(2017)