◆伝統芸能を3次元映像で生成
〜好みのアングルで能の舞が見られる〜
（平成17年5月9日）

○ ＮＨＫは、”能”などの伝統芸能を複数のカメラで撮影し、その映像から「どこからでも見られる」 ３次元映像を生成する技術を開発しました。この研究は文部科学省の「知的資産の電子的な保存・活用を支援するソフトウェア技術基盤の構築」プロジェクトの中で、伝統芸能の3次元映像アーカイブの実現を目指して、東京大学大学院（新領域創成科学研究科）、（株）国際電気通信基礎技術研究所（ＡＴＲ）と共同で進めている研究です。本研究の成果は平成17年5月26日〜29日に開催されるＮＨＫ放送技術研究所の一般公開で展示されます。

○ 被写体を取り囲むように配置した複数のカメラから映像を取得し、その撮影映像に計算処理を施して、被写体の3次元映像を生成します。3次元映像は被写体の形状情報を持っているため、どのようなアングルからの映像でも作り出すことができます。

○ 平成16年12月に（社）観世九皐(きゅうこう)会の協力により、観世流シテ方の観世喜正氏を迎えて撮影実験を行いました。演目は鬘（かずら）能の一つである「熊野（ゆや）」の一節であり、能面、装束を着用の上、撮影しました。鬘能は女性を主人公にした能であり、最も能らしい風情のある演目です。「熊野」は平宗盛とその恋人・熊野のエピソードを題材にした作品です。

○ 生成した能演者の3次元映像を効果的に表現するために、能楽堂のＣＧ（コンピュータ・グラフィックス）と3次元的に合成して表示するシステムを試作しました。能楽堂ＣＧは国立能楽堂の協力により、設計図面に基づいて作成しました。このシステムでは、3次元映像とタイミングを合わせて、謡（うたい）を再生しながら、能舞台上で演者が舞う様子を自由に視点を変えながら見ることができます。

○ 今後は、伝統芸能の3次元映像アーカイブの実現に向けて研究開発を進めて行きます。また、このプロジェクトで培った技術を用いて番組を制作するなど、放送に応用して行きたいと考えています。

図1：複数カメラ撮影用スタジオでの能の撮影

このスタジオは直径8m、高さ2.5mのドームであり、カメラ22台が設置されています。周りが青いのは、3次元映像を生成する過程でクロマキーを使って画像から被写体部分を切り出すためです。

図2：　3次元映像合成