展示 5
自由視点ARストリーミング技術
オブジェクトベース伝送技術による効率的な伝送
展示概要
これまでのテレビの枠を超えた新しい体験・感動を提供するイマーシブメディアの実現を目指し、3次元コンテンツを効率的に伝送するオブジェクトベース伝送技術の研究開発を進めています。この技術を用いて３次元コンテンツをストリーミングし視聴端末でリアルタイムレンダリングすることで、自由な視点からAR(Augmented Reality)コンテンツをご覧いただける展示をしています。
研究の目的
３次元コンテンツを構成する人物や物体などのオブジェクトの伝送において、コンテンツの提示に必要な情報だけを効率的に視聴端末まで届けるための技術です。
課題
2次元の映像に比べてARなどの3次元コンテンツの情報量は非常に多く、視聴端末まで安定的に届けるために伝送するデータ量の削減が課題です。
どんな技術？
現状の2次元コンテンツを視聴するテレビ放送と同様に3次元コンテンツの視聴でもコンテンツ視聴前にデータダウンロードを必要としないストリーミング方式でのサービスを想定しています。提案するオブジェクトベース伝送では、3次元コンテンツを構成する出演者や物体などの被写体オブジェクトのデータをまとめて送るのではなく、それぞれ独立したデータとして扱い、パケットレベルで識別できるように伝送することが特徴です。技研公開2021 では、動きのない静止物のデータは、１秒当たりに送信する回数を少なくすることで、伝送ビットレートの削減を図る技術を紹介しましたが、さらに削減が必要でした。
今回、さらなる効率的な伝送を目的として、視聴端末における視野内のオブジェクトのデータだけを視聴端末との距離に応じた解像度で伝送する「オブジェクトフィルター」を導入しました。視聴端末の視野外にあるオブジェクトのデータは伝送せず、また、視聴端末から遠くに位置するオブジェクトの解像度を低くすることで、コンテンツの画質を下げることなく伝送するデータ量を削減します。また、視聴端末でARコンテンツを表示するのに必要なデータだけを伝送することで、端末でのレンダリング処理の負荷軽減にもつながります。オブジェクトフィルターは、伝送路上のエッジサーバーや受信端末の入力部のゲートウェイにパケットレベルの簡単な処理として実装できます。
詳しい解説
オブジェクトベース伝送で3次元コンテンツを効率的に伝送するための技術の詳細を研究員がプレゼンテーションします。
過去の技研公開での展示
関連文献
- 自由視点ARストリーミングの効率的配信に向けた可視オブジェクトフィルタゲートウェイの実装、映情学技報、vol.45, no.35, BCT2021-48, 2021
- 自由視点ARストリーミングの効率的配信に向けた可視オブジェクトフィルタゲートウェイ適用時におけるビットレート削減効果の検証、映情学冬大、22B-1, 2021