テレビ映像を対象とした顔認識技術

３．１　手法の概要

既存技術の課題を解決するために，本稿では，顔特徴点の検出を必要としない「領域ベースの顔認識手法」を提案する。提案手法の全体概要を２図に示す。まず，入力映像をカメラの切り替え点（カット点）で分割した後，各カットから代表フレームを抽出する。本手法では，カットの先頭のフレームを代表フレームとする単純な方法を採用した。次に，代表フレームから顔領域を検出し，一定のサイズに正規化する。続いて，正規化した顔画像から領域ベースの画像特徴ベクトルを算出する。

学習フェーズにおいては，画像特徴ベクトルを用いて，その人物らしさを判定する識別器を俳優ごとに学習する。具体的には，同一人物の顔画像から算出された特徴ベクトルの集合をSVMで解析して他人との境界を求め，これを識別器とする。

検索フェーズにおいては，人物名が未知の顔画像の特徴ベクトルを識別器に入力して，その俳優らしさを表すスコアを求めた後，スコア順に並べて検索結果とする。

３．２　画像特徴ベクトルの算出

顔画像から画像特徴ベクトルを算出する手順を３図に示す。始めに入力画像とそのエッジ検出画像^*2を，細かな矩形領域に分割し，各領域から輝度の勾配に基づく特徴を算出する。提案手法では，入力画像およびエッジ検出画像に対する矩形領域のサイズを，それぞれ16×16ピクセルおよび24×24ピクセルに設定した。これらの矩形領域をさらに4×4ブロックに分割し，各ブロックにおいて８方向勾配ヒストグラム^*3を算出する。これを，その矩形領域の輝度勾配特徴とする。１番目の矩形領域からN番目の矩形領域までの輝度勾配特徴は，次式で表される。

ここで，x_iとd_iは，それぞれi番目の矩形領域の中心座標と輝度勾配特徴を表す。d_iは4×4×8=128次元のベクトルとなる。以降の説明では，ベクトルを太字の記号で表記する。

次に，輝度勾配特徴d_iを局所制約線形符号化^9）を用いて変換し，符号化特徴ベクトルv_iに変換する。局所制約線形符号化は，入力ベクトルをC個の基底ベクトルの重み付き和で表現する手法であり，分類が容易となるように入力ベクトルを変換する目的で使用する。基底ベクトルは，十分な数の顔画像データから求めた輝度勾配特徴d_iをC個のクラスに分類し，各クラスの重心ベクトルを求めることで得る。提案手法ではC=2,048に設定した。符号化特徴ベクトルv_iの次元は2,048となる。

続いて，座標x_iのK近傍^*4の矩形領域における符号化特徴ベクトルv_i^（k）（k=1,…,K）を，（2）式に示す重み付き最大プーリングを用いて統合し，ɡ_iを求める。提案手法ではK=20に設定した。このように周辺情報を統合することにより，表情変化などへの頑健性を向上させることができる。

ここで，maxはベクトルの要素ごとに最大値を選択する演算を表す。またs_kは，x_iからの距離に基づく重みを表し，次式で定義する。

σは重みを調整するパラメーターである。また，x_m^（k）は座標x_iのK近傍の矩形領域の中心座標を表し，x_mは（1）式と同様にm番目の矩形領域の中心座標を表す。

その後，入力顔画像をM個の矩形領域に改めて分割し，領域ごとにɡ_iを集計することで，各領域に対応する特徴ベクトルh_j（j=1,…,M）を求める。提案手法ではM=16とした。h_jの算出式は次のとおりである。

ここで，r_j（j=1,…,M）は入力顔画像におけるj番目の矩形領域を表す。また，w_iは座標x_iにおけるエッジ強度^*5に基づいて定義された重みを表す。具体的には，入力画像のエッジ検出画像にガウシアンフィルター^*6を適用して生成した重みマップを利用する。これにより，エッジが密集した領域の特徴は重みが大きくなり，エッジが少ない平坦な領域は重みが小さくなる。この処理により，元の顔画像における位置情報を最終的な画像特徴ベクトルに反映させることができる。最後に，すべてのh_jを連結して「顔画像全体の画像特徴ベクトル」とする。このベクトルの次元はC×M=32,768となり，これをSVMの学習に利用する。

４．１　検索精度の評価

始めに17名の俳優に対する検索精度を評価した。評価指標には，検索結果の上位n件（各俳優について，その俳優が映っていると判定された評価データのうち，スコアが上位のn件）の平均適合率AP（n）を用いた。AP（n）は，次式で表される。

ここで，δ_iは検索結果のスコアが第i位の結果が正解であれば１，不正解であれば０を表す。平均適合率AP（n）は，検索結果における誤りの少なさを表す指標であり，数値が大きいほど検索精度が高いことを表し，上位に正解が集中するほど高い値となる。

検索精度の評価結果を２表に示す。実験の結果，平均適合率の全俳優についての平均（MAP：Mean Average Precision）は，上位50件が98.2%，上位100件が96.6%，上位300件が90.3%，上位500件が87.6%となった。実験映像には，照明条件や，顔の向き，表情などの大きな変化が含まれていたが，非常に良好な結果を得ることができた。特に，上位50件の平均適合率については，俳優A，俳優D，俳優Pを除くすべての俳優が100%という結果となった。

俳優ごとの精度については，学習データ数が多いほど精度が高くなる傾向が見られた。特に学習データが多かった俳優Mと俳優Oについては，上位50件，100件，300件，500件の平均適合率がすべて100%となった。また，学習データが50件以上となった俳優Cと俳優H，俳優Jについても，上位500件の平均適合率が97%以上という非常に高い精度が得られた。一方，学習データが少なかった俳優Aと俳優Pについては，上位500件の平均適合率が70%以下に低下する結果となった。少ない学習データからは，俳優の特徴を十分に捉えられなかったものと考えられる。しかし，同様に学習データが少なかった俳優Gと俳優Kについては，上位50件，100件，300件，500件の平均適合率がすべて90%以上となる精度が得られており，学習データの内容や俳優の違いによって，精度にばらつきが出ることが分かった。今後，より多くの番組や俳優を対象とした実験を実施し，提案手法の特性を詳細に分析する必要がある。

４．２　既存手法との比較

提案手法の優位性を検証するために，既存手法との比較実験を実施した。既存手法として，代表的な４手法（Clippingdale2012^8），Turk1991^11），Belhumeur1997^12），Ahonen2006^13））を選択した。実験結果を４図に示す。上位500件のMAPで比較すると，提案手法は87.6%となり最も高い結果となった。続いて，Ahonen2006が51.7%，Turk1991とClippingdale2012が40.3%という結果となり，最も低い結果となったのはBelhumeur1997の22.2%であった。この結果から，既存手法をドラマ番組にそのまま適用しても，十分な精度が得られないことが実験的に確認された。いずれの既存手法も，ドラマ番組における画像変動への頑健性が不足し，精度低下につながったものと考えられる。

４．３　再現率と適合率による評価

前節までの平均適合率による評価では，検索結果における検索漏れは考慮されていない。そこで，提案手法の検索漏れと検索誤りを統合的に評価するため，再現率と適合率を指標とした評価を実施した。再現率，適合率の定義は以下のとおりである。

再現率は検索漏れの少なさ，適合率は検索誤りの少なさを表す指標である。いずれも数値が大きいほど精度が高いことを表す。なお，再現率と適合率はトレードオフの関係にある。

俳優Aと俳優Cに対する評価結果を５図に示す。これらの俳優は，平均適合率による評価において，検索精度が低かった俳優と高かった俳優のそれぞれから選択した。グラフの横軸が再現率，縦軸が適合率を表し，右上に近いほど精度が高いことを表す。全体的に，俳優Aよりも俳優Cの精度が高いことが分かる。再現率と適合率が同程度となる部分を評価すると，俳優Cは再現率，適合率が90%程度となった。検索漏れ，検索誤りともに10%程度に抑えられており，高い検索精度が達成できたものと考える。一方，俳優Aについては，再現率，適合率が70%程度となった。精度低下の一因としては，学習データ数の不足が考えられる。今後，画像変換によって人工的に生成した画像データを学習データに追加するなど，俳優によらず高い精度が得られるような方策を検討する必要がある。