展示 8

メタスタジオによる3次元情報取得

撮影条件に制約されない自由な映像演出を行うために

展示概要

ロボットカメラを含む複数のカメラの撮影映像から被写体の３次元モデルを作成しAIを用いて補償することで、被写体を好きな視点から見た映像を制作できるスタジオです。撮影後に照明条件やモデルの質感を変更して映像を自由に加工することもできます。

メタスタジオの仕組み

研究の目的

将来、３次元テレビやAR/VRなどのさまざまな視聴デバイスで好きな視点から映像を見られるようにするために、被写体の３次元モデルの取得から表示まで行う研究です。

課題

従来の手法が作成した３次元モデルは写実性が乏しく、撮影後に照明条件などの変更もできませんでした。また、広範囲を撮影するには多くの固定カメラが必要でした。

どんな技術？

多数のカメラを用いてスタジオ内の被写体を３次元モデルに再構成するスタジオ技術です。ロボットカメラを含む複数台のカメラで撮影した映像から被写体を抽出して、シルエットをヒントに各カメラから見た距離画像※を作成します。この距離画像を統合することで被写体を３次元モデル化できます。３次元モデルは好きな視点から見ることができますが、誤差や欠損があるのでこれをAIで補償します。また、モデル作成後に照明条件やモデルの質感を変えるなどしてさまざまな演出を付加することもできます。例えば、モデルを夕方の屋外に移動させてその風景になじませます。このようにして、最終的に高品質で多様な映像を好きな視点で鑑賞することができます。

詳しい解説

メタスタジオにおける被写体の３次元再構成技術の詳細について動画で説明します。

  • ロボットカメラによる被写体の検知撮影
  • ステレオマッチング法と視体積交差法を統合した高精度な３次元再構成
  • AIを用いた映像変換による高精度な誤差補償
  • モデルの質感や照明条件の変更に対応する質感・光線ハイブリッドレンダリング

関連文献

  • 映像表現・芸術科学フォーラム2021「3次元形状情報を取得する撮影スタジオの構築」
  • 2021年映像情報メディア学会冬季大会「ボリュメトリック映像における補償手法の品質向上およびその評価」

※ カメラから見たときの被写体までの距離。複数のカメラからの距離画像を統合することで被写体全体の３次元形状がわかる。

展示一覧へ戻る