ホーム 研究内容 ニュース 刊行物 アクセス

研究内容紹介

2.3 多次元映像表現技術

 スポーツ中継をはじめとしたライブ型の番組をより分かりやすく魅力的にする新しい映像表現の実現を目指し、通常の2次元画像解析に加えて、動画情報や空間情報、センサー情報を活用した多次元映像表現技術の研究・開発に取り組んでいる。


実空間センシングによる新映像表現手法の研究

 撮影映像や各種センサーから得られる被写体情報を活用することで、映像表現の自由度を広げる実時間センシングによる映像表現技術の研究を進めている。
 スポーツ競技において移動する被写体の動きを分かりやすく表現するため、スポーツ映像内から特定の被写体の位置や向きなどの情報を取得する技術の研究に取り組んでいる。2017年度は放送技術局と連携し、フェンシング競技において複雑かつ高速に移動する剣先の動きを可視化するシステム「ソードトレーサー」の開発を進めた。本装置では、可視映像と近赤外映像を同一光学軸で撮影できるカメラを利用し、剣先からの反射光を赤外画像上で追跡することにより、可視画像上に軌跡CGを合成する。機械学習を利用することで、剣先を高精度かつリアルタイムに追跡することが可能となった。2017年12月に行われた全日本フェンシング選手権でソードトレーサーを運用し、放送に初めて活用した(図2-7)。
 サッカーの戦術などの解説に利用することを目的に、広角レンズで撮影したサッカー映像中の低解像度の顔画像から、選手の顔向きを8方向に推定する手法(1)の研究を進めた。2017年度は、データの管理や修正を行うシステムを開発して運用性を高め、スポーツ解説番組に利用することで手法の有効性を確認した。番組では、選手の視野を扇形のマークで表示することで、死角をついたプレーなどを視覚的に分かりやすく解説でき、視聴者から好評を得た。この研究成果は、技研公開2017で展示した。
 スポーツ中継では、カメラの姿勢(位置や向き)に連動したCGをスポーツシーンに合成する「スポーツバーチャル」が一般化している。このスポーツバーチャルで必要となるカメラ姿勢情報を、クレーンカメラやワイヤーカメラなどの多様な撮影機材に取り付けるだけで取得可能とする、新しいカメラ姿勢センサーの開発を進めている。2017年度は、MEMSジャイロスコープと光ファイバージャイロ、レーザー測距センサー、定張力ばね機構を効果的に組み合わせた小型かつ高精度な姿勢センサーを試作し、計測実験を行った。実験結果から、従来手法と比較して、ドリフト誤差を1/65に低減できることを確認した。
 スタジオ映像制作において、出演者とCGキャラクターの自然な共演を実現するCG共演用スタジオロボットの開発を進めている。2017年度は、撮影映像上のロボット位置にCGキャラクターを重畳した際、CGキャラクターからロボットがはみ出してしまう問題を解決するため、事前に取得したスタジオの背景情報(3次元構造や画像)と、ロボットが映った撮影映像との比較結果を利用し、撮影映像上のロボット領域を自然に隠す基本技術を開発した。今後、運用性などの改善を図り、番組での実証実験を行う。



図2-7 第70回全日本フェンシング選手権大会での剣先軌跡表示

Sports 4D Motion

 球技をはじめとしたスポーツ中継をターゲットに、視聴者に分かりやすくスポーツシーンを伝えるため、多視点映像とCGを融合した新しい映像表現技術“Sports 4D Motion”の開発を進めた。
 2017年度は、要素技術として、これまでのパン・チルト制御に加え、ズームレンズに対応した多視点カメラシステム向けのカメラ校正技術(2)、複雑な背景下でも適用可能な被写体追跡技術、そして3次元情報解析技術を組み合わせることで、可動カメラからもボールなどの被写体位置をリアルタイムかつ高精度に取得することを可能にした(3)。これにより、放送用カメラでのズームを利用する演出に制限を加えることなく、実写映像に対して正確にCGを合成することが可能となった(図2-8)。また、これまでHD解像度カメラで構成されていた多視点カメラシステムを4Kカメラで構成することにより高解像度化し、多視点映像の生成品質の向上も図った。さらに、開発した各種要素技術を統合し、注目する被写体の多視点映像に、ボール軌跡などの情報をCG合成するシステム“Sports 4D Motion”を構築した。これらの技術は、IBC2017展示や「スポーツイノベーション」、「NHK ABUロボコン」などの番組で活用し、高いリアルタイム性や合成精度、実用性を示した。今後は、対象競技種目の拡大などを進め、スポーツ中継や解説番組での活用を目指す。



図2-8 バレーボール競技での利用を想定した実写映像へのボールCG合成例(実ボールと軌跡上にCGのボールを重畳)

2.5次元マルチモーション表現手法の研究

 スポーツ中継において、競技場の3次元CG映像を背景に、映像から抽出した選手領域映像をCGの書き割りとして生成・配置することにより、時系列の一連の動作を連続写真風に表現(マルチモーション表現)する手法の研究を進めている。2017年度は、被写体切り出し技術(Active Graph Cuts)の改良に加え、可視画像・遠赤外画像を併用した被写体領域抽出技術を開発した。これにより、画像情報だけでは抽出が困難な被写体を、欠落なく高速に切り出すことが可能になった。また、2.5次元マルチモーション技術の要素技術である被写体抽出技術と3次元位置計測技術を応用し、2017年6月と8月に開催されたNHKロボコンにおいて飛翔体の軌跡描画を行った。ロボットが同時に投てきする複数ディスクの軌跡を可視化(4)し、分かりやすい映像表現を行った。


自然な飛翔体強調表現手法の研究

 スポーツ中継において、高速に移動するボールなどの飛翔体の軌跡をリアルタイムにCGで表現することは、分かりやすい解説に有効である。従来の技術では計測が困難なゴルフ競技への応用を想定し、弾道予測方程式と画像処理技術、レーザーセンサーを融合し、ゴルフボール位置を実時間で計測する技術の開発を進めている。2017年度は、ティーショットの軌跡表示に加え、ボール落下側に自動追尾型センサーカメラを2式配置し、それらの画像を解析することで、落下するまでの軌跡を高精度に表示できる機能を追加した。日本女子オープンゴルフ選手権の最終予選などで実証実験を行い、有効性を確認(5)した。本システムは技研公開で展示したほか、NHKが中継したゴルフ選手権3大会のギャラリープラザでも展示した。


 

〔参考文献〕
(1) S. Yokozawa et al.:“Head Pose Estimation for Football Videos by using Fixed Wide Field-of-View Camera,” Proc. Int. Conf. Pattern Recognition Systems(ICPRS-17),p.7(2017)
(2) M. Kano et al.:“Accurate Calibration of Multiple Pan-Tilt Cameras for Live Broadcast,” 5th International Conference on 3D Vision(3DV 2017),p.594-602(2017)
(3) 大久保ほか:“被写体追跡可能なスポーツグラフィックスシステムの試作,” 映情学技報,Vol. 41, No. 26, ME2017-85, p.9-12(2017)
(4) 盛岡,横澤,三ッ峰:“ライブ番組における複数飛翔体の軌跡描画システムの開発,” 映情学冬大,12C-2(2017)
(5) 加藤,三ッ峰:“放送利用を目指した飛翔体の3次元座標計測と軌跡表示手法の検討,” 第18回 計測自動制御学会システムインテグレーション部門講演会予稿集,3A1-04(2017)