AR技術を活用した番組への没入体験

テレビ画面から飛び出した映像と音響を体感

番組の世界を⾃由に歩き回れる没⼊体験

これまでのテレビの枠を超えた新しい体験を実現するため、3次元モデルや空間配置情報などの3次元空間情報の伝送技術やオブジェクトベース音響技術の研究開発を進めています。テレビ映像と同期する自由視点ARと視点に連動した音の提示により、番組の世界を⾃由に歩き回れる没⼊体験を実現します。

※AR(Augmented Reality・拡張現実)現実の世界にCGなどを重ね合わせて、あたかもそこに実在するような感覚を与える技術

体験映像

タブレットを用いた自由視点ARとオブジェクトベース音響で番組の世界を⾃由に歩き回る没⼊体験の様子をご覧いただけます。同時に撮影した体験中の映像(右下)と比較しながらご覧ください。ヘッドホンやイヤホンを使用して聞くと、視点に連動した音の変化やそれぞれの楽器の音色などをより楽しめます。

3次元空間情報のストリーミング伝送

コンテンツを構成する出演者や楽器などのオブジェクトを、それぞれ独立したデータとして多重化してストリーミング伝送します。これにより、送信側でオブジェクトによってデータの送信時間間隔を変えたり、受信側で表示に不要なオブジェクトのデータを簡単に破棄したり、ユーザの操作でオブジェクトの配置をカスタマイズしたりすることも可能となります。

オブジェクトベース音響技術によって映像と音が連動する没入体験

タブレット端末から、視点位置・視線方向の情報をオブジェクトベース音響の再生装置に送信し、視点位置・視点方向に応じた音の聞こえ方を再現します。タブレット端末の動きに合わせて、自由視点映像と音を連動させることで、より高い没入感を提供します。

放送・通信融合に向けて

本技術は、放送と通信を融合させたサービスの一つとしての実用化を目指しています。スーパーハイビジョン放送では高精細な映像を提供できますが、視点は一つに限られます。視点の自由度を通信で補うことにより、コンテンツの表現空間を3次元に拡張し、放送だけでは難しかった新たなコンテンツ視聴体験の提供を可能とします。