AR技術を活用した番組への没入体験

3次元撮影

• 静止画（フレーム）を連続的に表示すると動画として見えるのと同じように、時間軸方向で形状変化する3次元モデルを連続的にレンダリングすることで、動く3次元オブジェクトとして提示することができます。
• 3次元撮影（ボリュメトリックキャプチャー）の専用スタジオで、6名の出演者による演奏を1人ずつキャプチャーして、時間軸方向で形状変化する3次元モデル（30フレーム/秒）を生成します。

3次元モデルのデータ加工

• 3次元モデルは、3次元オブジェクトの立体形状を多角形で表現するジオメトリと、その多角形の各面の柄を2次元画像にマッピングしたテクスチャー画像によって符号化されます。
• 動きのある出演者と、楽器や椅子など静止物の3次元モデルを（可能な場合）分離して、別々の3次元モデルとします。
• ARで表示するときのサイズ（ミニチュアまたは実物大）や、無線LANなど視聴端末までの伝送路で伝送可能なビットレートに合わせて、3次元モデルのジオメトリの頂点数とテクスチャー画像の解像度を調整します。

多重・伝送

• テレビと同様に番組の途中からARの視聴を開始することも考慮しながら、静止物の送信フレームレートを下げることで、合計の伝送ビットレートの増加を抑制します。
• 各出演者や静止物の3次元オブジェクトをAR空間に配置するときの位置座標などが記述された空間配置情報をメタデータとして付加し、各オブジェクトを多重してストリーミング伝送します。

オブジェクト単位の多重化による伝送の効果

• オブジェクトによってデータの送信時間間隔を変えたり、表示に不要なオブジェクトのデータを伝送のレイヤで破棄したりすることで、効率的な伝送を可能とします。
• 今回の例では、出演者6人を30フレーム/秒、 静止物4個を1フレーム/秒で伝送することで、全てのオブジェクトを30フレーム/秒で伝送した場合と比較して、合計の伝送ビットレートを565Mbpsから326Mbpsへ約6割に削減できました。