Technology

FUSION

シルエットが急激に大きくなったり、ぐるっと回り込んだり。どこまでが現実で、どこまでが映像なのか、不思議な演出に驚かされる「FUSION」。一体どうなっているの?!と疑問に思った方も多いでしょう。これは、CG映像と現実のダンスを巧みに合成することで生まれた表現です。自在に動くスクリーンに合わせて映像を投影する「ダイナミックプロジェクション」と、現実の影と作り出した影を融合する「バーチャルシャドウ」といった技術を用いて、このシーンの演出が実現しました。

ダイナミックプロジェクション
お城や建物など、動かないものに映像をプロジェクションする場合は、一度プロジェクションの位置を調整すればずれることはありません。しかし、今回の様に位置と角度が変化しているスクリーンにプロジェクションをする場合はどの様に調整するのでしょうか?
複数台のカメラを用いてスクリーンの位置と角度をその場で計算し、スクリーンの位置と角度に合わせて自動的にプロジェクションを調整する「ダイナミックプロジェクション」という技術を開発しました。モーションキャプチャという技術をベースに開発されています。これまでも衣装や動く物体にプロジェクションする試みは行ってきましたが、ReframeではNHKホールでの調整の時間が非常に限られていたため、短時間でキャリブレーションを行うためのソフトウェアを新たに開発するなど、様々な努力が行われています。
バーチャルシャドウ
実際には存在しないはずの光源から作られた影がスクリーンに投影されています。楽曲に合わせて変化する影はどのように作られているのでしょうか。
ここでスクリーンに映っている影は2種類あります。現実空間の光によって作られた本物の影と、仮想空間上の光によって作られた仮想の影「バーチャルシャドウ」です。バーチャルシャドウはプロジェクターで投影されている映像で、現実世界の光を遮って作られたものでは無いため、自由に変化することが可能です。バーチャルシャドウを作るためには様々な方法がありますが、ここではフォトグラメトリー、モーションキャプチャ、キーイングと呼ばれる技術を組み合わせて実現しました。この演出を行うために様々なデータを取得し、独自のソフトウェアを開発して映像を制作しています。
モーションキャプチャ

人物や物体の動きをデジタル的に記録する技術。計測空間に複数のカメラを設置し、反射マーカーをトラッカーとして用いる「光学式」を採用しています。

プロジェクターキャリブレーション

プロジェクターからの投影画像と実世界のオブジェクトの間の位置合わせをすること

フォトグラメトリー

3次元の物体を複数のデジタルカメラから取り込んだ画像データをコンピューターで処理し、物体の3次元形状を得る手法のこと。「FUSION」ではPerfumeの3人のデータをとるために、120台以上のデジタルカメラで撮影しました。

キーイング

色や明暗などの違いを利用して、映像の一部を背景と前景で抜き出す映像撮影編集技術のこと。今回はグリーンバックで撮影をすることで、人物のシルエット情報のみを切り出して使用しています。

PAGE TOP