AIロボットカメラ

番組を効率的に制作するために，当所では，熟練カメラマンのカメラワークを再現する自動撮影技術「AIロボットカメラ」の開発を進めている。熟練カメラマンは，被写体とそれを取り巻く状況から次の展開を予想し，視聴者が見やすい映像を撮影している。このようなカメラワークをAI（人工知能）ロボットカメラで再現するためには，映像から状況に関する情報を抽出する技術と，状況を理解してカメラワークを生成する技術が必要である。

スポーツ映像からの状況抽出技術

今回，スポーツ映像，特にサッカーを対象とした選手や試合の状況を抽出する技術を開発した。選手やボールの位置および速度，選手の顔の向きなどを，機械学習^＊1 によるDNN（Deep Neural Network）^＊2 などのAI技術を用いて自動的に抽出することが可能になった（１図）。

状況理解によるカメラワーク生成技術

NHKのスポーツ中継カメラマンが，どのような状況でどのようなカメラワークで撮影するのかといった撮影ノウハウをベースに，カメラワークを自動生成するソフトウェアを試作した。このソフトウェアは，選手・ボールの位置関係，顔の向きから推定した注目エリア，選手の移動速度から推定したチームの攻守の状況や試合に積極的に関与している選手を理解し，撮影すべきエリア（カメラの構図）をシーンごとに自動的に決定することができる（２図）。

今後は，カメラワークの自動生成にAIを導入することで，より自然なカメラワークを実現するとともに，処理の高速化・実時間化に取り組み，AIロボットカメラの実用化を目指す。

なお，本研究は，（株）イマジカ・ライヴ，（株）Jリーグと協力して進めている。