映像自動要約技術

コロナ禍での新しい働き方やワーク・ライフ・バランスを推進するためには、長時間労働の抑制やテレワークの普及促進などが大切です。この連載では、AI（人工知能）技術を活用することで番組制作業務の効率化や番組のリモート制作などを実現する「AI を活用した番組制作支援技術」を紹介します。

映像自動要約技術とは？

より多くの方に放送番組を視聴していただくために、番組の中から重要なシーンを自動的に抽出して短時間の要約映像を作り、ソーシャルメディアなどで配信するサービスの需要が高まっています。この要約映像の制作には、専門性の高いスタッフによる編集作業が必要です。この作業を効率的に行うため、AI（人工知能）を活用して自動的に要約映像を生成する技術が求められています。

AIを用いた映像自動要約技術

技研では、番組制作現場での要約映像の制作を支援するため、AIを用いた映像自動要約技術の研究に取り組んでいます。この映像自動要約AIの学習処理（図１）と手順について以下で説明します。

〈学習処理〉

① 学習データの準備
AIに学習させるデータとして、人手で編集した要約映像と、その元となった編集前の映像を大量に準備します。

② 映像から特徴データを抽出
編集前の映像を数秒単位で分割し、分割したそれぞれの映像区間から３種類の特徴データ（被写体の特徴/映っている人物の顔の特徴/カメラの動きの特徴）を抽出します。

③ AIに特徴データを入力・学習させる
抽出した３種類の特徴データをAIへ入力して学習させます。この際、要約映像に使われた映像区間に対しては、要約映像に使われる確率を示す“出力値”が高くなるように、使われなかった区間に対しては“出力値”が低くなるように学習させます。

〈要約映像の生成手順〉

こうして作成した映像自動要約AIは、特徴データを入力した際の出力値が高い、つまりAIが「要約映像に使うべき」と判断した映像区間をつなぎ合わせることで、要約映像を自動生成します。
この技術を利用して、ニュース番組用の要約映像制作支援システムを試作しました（図2）。このシステムは、各ニュース項目のVTR映像を入力として、AIが各項目の要約映像を自動生成し、制作者が必要に応じて修正を施した後、各項目の要約映像を連結したニュース要約映像を出力します。
今後も、番組制作現場の多様なニーズに応えるため、映像自動要約技術の研究開発を進めていきます。

次回予告

AIを活用した番組制作支援技術
第3回「ニュース原稿の日英機械翻訳技術」