No.432008/10

連載 「映像メディアのためのメタデータ制作・活用技術」(全6回)
 多くの映像配信サービスが利用可能になり、視聴者の映像コンテンツの選択を支援するための技術がますます求められるようになってきました。そこで重要なのが、メタデータと呼ばれる映像の内容を記述する情報です。

第3回 「シーンを解析する技術 」
人間・情報 専任研究員 望月 貴裕
 先月号では、映像にその内容を説明する「メタデータ」を自動的に付けるために、映像に映し出された人物の顔やスポーツ選手の配置および動きを取り出して利用する画像処理技術を紹介しました。今回は、人物など「映っているものそのもの」を取り出すのではなく、映像のシーン全体で起こった"イベント"の内容を画像処理により自動的に取り出し、メタデータとする技術を紹介します。
シーン解析の基礎となるショットチェンジ点の検出技術
図1 ショットチェンジ点検出
 シーンの内容を理解するためには、まず映像をある単位に区切る必要があります。放送された映像には画が切り替わる瞬間(ショットチェンジ点)が必ず有り、このショットチェンジ点を見つける技術は、シーンを解析するために非常に重要です。技研では、ショットチェンジ点では画が大きく変化することに注目し、映像中の各静止画(フレーム画像)をブロック単位で追跡しながら色情報の変化量を測ることにより、瞬間的に変わる点だけでなく段々と変わるものも含め、非常に速く正確にショットチェンジ点を求める技術を開発しました(図1)。
野球放送映像における投球球種およびプレイ内容識別技術
 スポーツ中継は広い世代にわたって注目度の高いコンテンツです。その中でも野球は、投球や打席などの単位でいろいろなイベント(具体的にはストライク、カーブ、ヒットなど)が起こるため、詳しいメタデータを付けることが強く望まれています。
 まず、カーブ・ストレート・シュートなどの球種を自動判別する技術を紹介します。技研では、ピッチャーの投球に対して、自動的にその球筋(軌跡)を表示する技術を開発しており、プロ野球中継において使用されています(B-Motion)。そこで、球種ごとにボールの軌道が異なることに注目し、軌跡データ(位置、動き、曲がり度合い、スピード値など)と、キャッチャーの構えたミットの位置を球種ごとにコンピュータに学習させ、球種を判別する技術を開発しました(図2)。
 次に、ホームラン、ヒット、四球などの「プレイ内容」を判別する技術を紹介します。野球放送には、プレイの種類ごとに「そのプレイならではの画の移り変わり」があります。例えば2塁打ならば、「ピッチャー投球→外野へ飛ぶ打球→走る打者→2塁上の打者のアップ」となる傾向があります。そこでこの傾向を利用して、ショット単位での画の移り変わりを、パターン化という映像の簡単化処理を通して番号の並び(数値列データ)に変換し、それをプレイの種類ごとに学習させることによりシーンのプレイ内容を判別する技術を開発しました(図3)。
 これらの技術を組み合わせることにより、録画した野球中継の映像に対して、球種やプレイ内容に関するメタデータを自動的に付けることが可能となり、さらにそれらを活用して、「スライダーでの三振シーン」「ストレートをヒットされたシーン」などのような、より細やかなシーン検索を実現できます。

図2 軌跡データと捕手の構え位置による球種判別
図3 シーンの数値列化によるプレイ内容判別


Copyright 2008 NHK (Japan Broadcasting Corporation) All rights reserved.
許可なく転載を禁じます。

技研だより NHK放送技術研究所