メタデータ制作フレームワーク

2.1 MPFの位置づけと対象メタデータ

メタデータは「データのためのデータ」と説明されることが多く，コンテンツに関連するさまざまな情報をすべてメタデータと呼ぶこともある。メタデータは，一般的に，ある特定の用途，特定のアプリケーションで効率よく利用されるので，必要最低限の情報が独自のフォーマットで表現されており，その種類は千差万別である。

放送局においては，番組に対して，検索などさまざまな用途を目的としてメタデータを付与している。1図はMPFを設計するにあたって想定した将来のメタデータの制作フローである。メタデータの制作体系を２段階に分け，第１段階（1図の左側）では共通に利用できるメタデータの作成を，第２段階（1図の右側）ではそれらを基に特定のアプリケーションに特化したメタデータを作成する。第１段階のメタデータを素材メタデータまたはプリミティブメタデータと呼び，第２段階のメタデータをアプリケーションメタデータと呼ぶ。多種多様なアプリケーションメタデータを制作する場合に，それぞれのメタデータを制作するために個別のシステムを開発するのでは膨大なコストがかかる。逆に，１つのシステムとして実現するとシステムが過度に複雑になる。そこで，共通の素材メタデータを作る第１段階と，これを基にアプリケーションメタデータを制作する第２段階に分けて，全体的なコストの削減を図っている。このような制作体系を効率よく稼働させるためには，第１段階の素材メタデータをいかにコストをかけずに精度よく生成するかということが鍵となる。本稿で紹介するMPFは，この素材メタデータを精度よく自動的に生成するための環境を提供することを目的としている。

一般的に，番組に関連するメタデータはその記述する対象範囲の大小によって２種類に分けることができる。１つは番組全体にかかわるタイトルや制作者など書誌情報^*1 に当たるもので，これをプロダクションメタデータと呼ぶ。通常，人手によって付与される。放送局においては番組管理のために付与されており，データベース（DB）も整っている。他の１つは番組のある時間区間に対して付与されたメタデータである。セグメントメタデータと呼ばれ，その基本構成要素は，ここからここまでという時間区間の境界情報と，その区間の内容や使用にかかわる情報である。セグメントメタデータで付与される情報にはさまざまな種類があり，付与する手法も異なっている。例えば，ある区間映像に対する再使用上の制約や著作権などの情報はこの１つであり，人手によって入力される。また，映像の構図や色合いなどの低次の特徴は映像解析によってある程度自動で抽出することができる。映像中のイベントやシーンの意味などの高次の特徴は検索などをするユーザーに最も有用なメタデータであるが，自動抽出は難しく，ほとんど付与できていないのが現状である。MPFで扱うメタデータは低次から高次の特徴まであり，さまざまなメディア処理を組み合せることで効率よく生成することを目的としている。

2.2 システムモデル

2図はMPFにおけるメタデータ制作システムのモデルである。モジュール群とそれらを制御するためのコントローラーの２種類で構成されるシンプルなモデルである。モジュールは２種類あり，１つは蓄積モジュールと呼ばれている。生成したメタデータを蓄積・管理するDBを持つモジュールで，コントローラーまたは他のモジュールからの要求に応じて，メタデータDBを検索または更新する。他の１つは処理モジュールと呼ばれ，MPFにおいて最も重要なメタデータ制作にかかわる各種処理機能を提供する。各種処理機能には，メタデータの生成・加工・利用・削除など，メタデータのライフサイクルに絡んだすべての操作が含まれている。コントローラーはユーザーとシステムの仲介を行い，目的のメタデータを生成するために必要なモジュール群を制御する。処理モジュールとのやり取りのほかに，生成したメタデータを保管・活用するために，蓄積モジュールとのやり取りを制御する。

MPFではメタデータ制作にかかわるさまざまな処理を統一されたインターフェース（IF）を持つモジュールとして実装しており，それらを組み合わせることで，目的のメタデータを制作するという考え方に基づいている。メタデータの制作を連携して行うための方法として，作成したメタデータだけを交換するのではなく，個々の処理モジュール自体も交換することが可能である。このようなシステムモデルを支障なく機能させるためには，メタデータの表現（メタデータモデル）と，モジュールやコントローラーの間でのデータのやり取り（インターフェース）を規定する必要がある。

3.1 メタデータモデル

MPFのメタデータモデルには，メタデータの国際標準であるMPEG-7²⁾ のサブセットを採用した。MPFのメタデータをXML（Extensible Markup Language）形式^*2 で表現し，その構造などをXMLスキーマ^*3 によって定義した。ただし，一部のスキーマで表現できない制約は文章で規定した。MPEG-7からのサブセットの選択方法については，当初は番組を記述するための最小限のものにとどめ，実証実験を進めていく過程で，必要になれば順次拡張するという方針で進めた。そのためMPFバージョン１では，映像や音の低次の特徴は対象外とし，基本的にテキストで記述されたメタデータだけを対象とした。MPFバージョン２では，映像や音の低次の特徴も含め，MPEG-7で規定されていないメタデータについても外部ファイルに保存し，そこへのポインターを保持するという形で拡張した。

3図はMPFのメタデータモデルとシステムモデルの核である処理モジュールの動作を示したものである。MPFでは，単一の映像コンテンツ（番組）を対象としており，図の中央がメタデータの構造である。先に述べたプロダクションメタデータは基本情報の中にある。メタデータの作成方法ごとにセグメントブロックを作り，その中にその方法で作成したセグメントメタデータをセグメントユニットとして入れる。１つの番組メタデータの中に，セグメントブロックは幾つでも生成することができ，セグメントブロックの中には必要なだけセグメントユニットを生成することができる。作成単位としてはショット区間^*4 や発話区間などがある。

ここで，処理モジュールを用いたセグメントメタデータの生成についてニュース番組を例にして説明する。3図の処理モジュールAは番組の映像を解析して１つ１つのニュース項目を検出し，それをセグメントブロックAにまとめて格納する。同様に，処理モジュールBはアナウンサーの発話を認識し，１文１文をセグメントユニットとしてセグメントブロックBに格納する。処理モジュールCは，これら２つのモジュールの結果を用い，各ニュース項目の中に含まれるアナウンサーの発話内容を言語解析し，抽出した主題などのサマリーを内容情報として付与する。この例では，３つの処理モジュールを組み合せた一連の処理で，各ニュース項目に関するメタデータを生成する。このようにセグメントブロックを単位としてモジュールにより提供される処理を組み合せ，また，他のモジュールの結果を再利用して目的のメタデータを生成する。

3.2 インターフェース

MPFでは，生成したメタデータを送受するためのメタデータ操作インターフェースと，モジュールを制御するためのモジュール制御インターフェースの２種類を規定している。どちらもWebServices^*5 による実装を基本としているが，モジュール制御インターフェースについては，処理モジュールを容易に開発するためにWindows DLL^*6 による実装も可能としている。以下，２種類のインターフェースの概要を説明する。

4.1 メタデータエディター

MPFシステムモデルにおけるコントローラーの役割を果たし，MPFの基本的な機能を検証することができる。エディター上では，開発したさまざまな処理モジュールを組み合せて動作させることができる。また，人手によるメタデータの修正も可能である。最終的なメタデータは外部ファイルとして保存することもできるし，蓄積モジュールを構築してそこに保存することもできる。5図はエディターの操作画面を示している。画面は大きく分けて３部構成となっている。左上が選択されたセグメントユニットの情報表示部，右上が映像コンテンツ表示部，下半分がセグメントブロックとそれに含まれるセグメントユニットの表示部である。処理モジュールはセグメントブロック（トラック）に対して１つ割り当てることが可能で，処理を開始すると抽出されたセグメントユニット（セグメントメタデータに相当）の出力が描画される。トラック上にあるセグメントユニットをクリックするとその内容がエディター画面左上に表示される。選択されたセグメントユニットの内容はMPEG-7に準拠したXMLの木構造で表現されており，直接，編集が可能である。また，エディター上では複数のトラックに同じ処理モジュールを割り当て，それぞれを違ったパラメーターで動作させることも可能であり，パラメーターの違いによる処理結果の違いを視覚的に容易に把握することができる。そのほか，モジュールをカスケード接続する（他のモジュールの出力結果を入力とする）ことも可能であり，正解データをトラックに作成しておけば，それと処理モジュールの結果とを比較して，精度などを数値化して外部ファイルに出力するような評価処理モジュールを開発することもできる。更に，グラフを表示する特別なトラックも実装しており，決められたフォーマットの時刻情報付き数値列を選択した色や形式で描画することもできる。この機能により，メディア解析処理に関連する時系列データを視覚的にわかりやすく確認することができる。

4.2 蓄積モジュールのためのラッパー

MPFシステムモデルにおける蓄積モジュールを構築するためのプログラムである。データベースそのものには，フリーのネーティブXMLデータベース^*11 であるeXist^*12 を利用した⁴⁾。ラッパーはeXistのデータベースを扱うメタデータ操作インターフェースを実装しており，WindowsのIIS（Internet Information Server)^*13 上に構築するWebServicesとなっている。従って，WindowsのOSにeXist，IIS，ラッパーをインストールすることで，ネットワークを介してどこからでも利用可能な蓄積モジュールが構築できる。

4.3 処理モジュール

MPFの処理モジュールとして，画像，音，その他の処理を行うサンプルプログラムをソースコード付きで５種類提供している。これらにはDLL実装とWebServices実装の両方のソースコードが付いている。更に，モジュール開発者のために，プログラムの骨格だけを持つスケルトンモジュールもソース付きで用意されている。スケルトンモジュールのソースにはプログラムを作成するための指示が付いており，それに沿って自身の研究開発した内容解析処理を埋め込めば，MPF仕様の処理モジュールができ，メタデータエディターからそれを実行してテストすることができる。

5.1 内容記述対象の空間的分割への拡張

現在の内容記述の対象領域は，映像や音声を時間的に分割したある時間区間であり，映像を構成する画像（フレーム）では全体領域を記述対象としている。最近，映像や画像の空間的な一部分を特定し，そこへメタデータを付与することは多く，MPF仕様の空間的な分割への拡張要望がある。MPEG-7には，この機能が含まれており，それを含む仕様に変更することで，空間的な分割に対応できるようにする予定である。

5.2 リンクメタデータ付与への拡張

リンクメタデータとはコンテンツのある部分と別のある部分との間の関係を記述するメタデータである。単一のコンテンツ内だけではなく，複数のコンテンツ間に付与する場合もある。最近の情報抽出の研究分野では，大量のコンテンツを対象として，このようなさまざまな関係を抽出するということが盛んに行われている。この分野においてもMPFを利用したいという要望があり，仕様の拡張を検討している。現バージョンのMPFは単一のコンテンツだけを対象としており，これを複数対象となるように拡張し，リンクメタデータを効率よく扱うことができるように仕様の変更を検討している。

5.3 リファレンスソフトウエアの改修

5.1節および5.2節で述べたような機能を拡張するためのソフトウエアの改修のほかに，以下の２点の改修を検討している。１つはメタデータエディター上でセグメントメタデータを編集する際のGUI（Graphical User Interface）の改修である。現在のメタデータエディターでは，画面に木構造で表現されたMPEG-7準拠のXMLデータを直接操作することはできるが，そのためにはMPEG-7の知識が必要である。そこで，ユーザーがMPEG-7の知識が無くても利用できるように，この部分のGUIをカスタマイズ可能なプラグインモジュール方式として設計し直すことを考えている。他の１つは現在のメタデータエディターで人手によって行っている一連のモジュールの実行処理をバッチ処理^*14 で行えるようにすることである。