対談音声認識のための話者ダイアライゼーション

3.1 マルチ音素クラスのベイズ情報量基準

話者交代点の検出，および話者の判定には，共にBICに基づくΔBIC^10)11)12)を用いる。ΔBICは２つの音声区間の特徴ベクトル列x，y に対して，それらが同一話者によるものかどうかを判定する基準であり，以下の(1)式および(2)式で表される。

ここで，λ_x＝（N_x, Σ_x）とλ_y＝（N_y, Σ_y）はそれぞれ２つの音声区間xとyの特徴量の分布モデルを示す。N_xとN_yは各音声区間の音声フレーム数，Σ_xとΣ_yは各特徴ベクトル列の共分散行列^*5 である。λ_xy＝（N_xy, Σ_xy）は２つの音声区間xとyを時間方向に連結した区間x yの特徴量の分布モデルを示し，N_xyは同区間の音声フレーム数N_x+N_y, Σ_xyはx yの特徴ベクトル列の共分散行列である。αは(2)式で表されるPの重み係数であり，雑音などの環境の異なる音声区間を正しく話者判定するためのマージンである。dは特徴ベクトルの次元数である。ΔBICの値が正のとき，xとyは別話者による発話であると判定される。

音響特徴量を音素クラスに分類しない(1)式および(2)式の従来手法に対して，本稿では，複数の音素クラスでの判定結果を統合できるように拡張した(3)式および(4)式を用いる。

ここで，Mは音素クラスの数，(m＝1, …, M）は，特徴ベクトル列xのうち，音素認識による音素情報をもとにm番目の音素クラスに分類された特徴ベクトルの統計量を示す。従来の(1)式および(2)式のフレーム数Nと共分散行列Σで表現される，音素クラスに分類しない「全音素」モデルを用いた手法に対して，本提案手法は，(3)式および(4)式の各音素クラスmのフレーム数N^mと共分散行列Σ^mで表現される「マルチ音素クラス」モデルにより話者交代点の検出および話者判定を行う。

3.2 話者交代点検出

音素認識によって，音素境界の時刻（音声フレーム）の集合T_hyp＝{t_last, …, t_c}が得られ，それぞれの音素境界前後での話者交代の有無を判定する。ここで，t_lastは前回確定した話者交代点，t_cは現時刻を示す。話者交代点の候補を音素境界に制限¹³⁾ することで，交代点検出のための演算量を削減することができ，次の(5)式および(6)式を満たす音素境界t_hを話者交代点とする。

ここで，x[t：]は時刻tからまでの特徴ベクトル列を示す。このようにして検出される話者交代点の情報は，後段の話者判定部に送られ，話者判定に利用される。

3.3 話者判定

リアルタイムに音声認識を行うためには，時刻t_cから一定の遅れ時間wで話者を判定する必要がある。判定手法の概要を2図に示す。可能な限り長い音声区間から精度良く判定を行うために，x[t_last＋１：t_c]（2図の音声区間a）の統計量を用いてx[t_pre＋１：t_c-w]（2図の音声区間b）の話者を判定する。ここで，t_preは話者の判定が終了している最終時刻を示す。登録された話者の特徴量の分布モデル（話者モデル）の集合をC（話者未登録の場合は空集合)，登録された話者の番号をi，話者モデルλ_xiに対応する平均特徴ベクトル列をとしたとき，

であれば，x[t_pre＋１：t_c-w]は新規話者と判定する。式(7)が満たされなければ，既に登録済みの

を発話者と判定する。話者モデルλ_xiの更新および新規話者モデルの作成は，話者交代点が検出されるごとに交代点以前の音声を用いて行う。

5.1 実験条件

対談番組の話者ダイアライゼーション実験により，提案手法の有効性を示す。話者ダイアライゼーションの評価指標には，DER（Diarization Error Rate）を用いた¹¹⁾。DERは以下の式で定義される。

ここで，FS（False alarm Speech）は発話者なしの区間で発話と誤判定した時間，MS（Missed Speech）は発話者ありの区間で発話なしと誤判定した時間，SE（Speaker Error）は話者を誤った時間，Tは総発話時間を示す。

評価データには2008年５月放送のNHKの報道系情報番組「クローズアップ現代」の対談部分（総発話時間3,177秒，12,356単語，話者10名，話者交代数120）を用いた。評価データ内の話者交代点付近などにおける複数話者の発話のオーバーラップ区間は，合計で11秒（総発話時間の0.3％）存在した。オーバーラップ区間の話者判定の正解は「発話者なし」として，FSとMSを算出した。また，比較手法ごとのΔBICのPおよびP_Mの重みαを決定するために，評価データの前週の同番組を開発データとして使用した。音素認識には参考文献⁸⁾ で提案された手法を用いた。音素認識率は57％であり，1表に示した音素クラスの認識率は73％であった。上記FS，MSは音素認識による発話区間検出で決定され，それぞれ総発話時間の0.4％，0.6％であった。

番組キャスター１名の話者モデルはあらかじめ同番組の対談部分（31時間）から作成し，システムの動作開始時の話者モデルとして登録した。その他の話者に関しては，システムの動作中に新規話者モデルとして順次作成し，登録した。話者ダイアライゼーションの基準であるBICで用いるモデルは，音響特徴量を音素クラスに分類しない従来の「全音素」モデル（(1)式および(2)式）に対して，母音と鼻音に対応した音響特徴量のみによる「母音＋鼻音クラス」モデル（(3)式および(4)式の音素クラス数M＝１)，子音に対応した音響特徴量のみによる「子音クラス」モデル（M＝１)，母音＋鼻音と，子音の２クラスに分類された音響特徴量による「マルチ音素クラス」モデル（M＝２）について比較した。

5.2 実験結果

判定の遅れ時間wを変化させたときのDERを4図に示す。図の横軸は遅れ時間wであり，音素認識で判定された無音区間は除かれている。

wが15～25秒では，「母音＋鼻音クラス」のDERが最も低かった。これは，遅れ時間が大きく判定のための音響特徴量が十分に得られる場合には，「母音＋鼻音クラス」モデルが「子音クラス」モデルよりも多くの個人性を含んでいるため話者ダイアライゼーションに最も有効であることを示している。wが３秒から２秒へ短くなると，「母音＋鼻音クラス」はDERが4.9％から7.4％へ，「子音クラス」は8.4％から11.3％へと悪化した。一方，「マルチ音素クラス」では，DERに大きな悪化は見られなかった。これは，「マルチ音素クラス」が判定対象の音声区間内の一部の情報に限定することなく，音声区間全体の情報を活用して話者ダイアライゼーションを行うためと考えられる。

また，「マルチ音素クラス」は，全てのwについて，従来の「全音素」に比べてDERが低く，wが２秒ではDERが4.8％から4.0％へ改善した（誤り削減率20.0％)。特にwが２～８秒では，「マルチ音素クラス」のDERが全手法の中で最も低かった。

6.1 実験条件

話者ダイアライゼーションにより得られる話者情報を用いて，音響モデルの話者適応実験を行い，提案手法による話者ダイアライゼーションの精度向上が音声認識の精度向上につながることを示す。評価データとして，話者ダイアライゼーション実験と同じ「クローズアップ現代」の対談部分を用いた。

不特定話者の音響モデルは，NHKのニュース番組（男性340時間，女性250時間）から男女別に学習した。番組キャスター１名の音響モデルは，話者モデルと同様に，あらかじめクローズアップ現代の対談部分（31時間）から学習し，話者ダイアライゼーションで番組キャスターの発声区間と判定された部分の音声認識に使用した。この番組キャスターの音響モデルは，既に十分な音声データにより適応化済みと考え，システム動作中の適応は行わないこととした。それ以外の話者の音響モデルについては，性別依存の不特定話者の音響モデルを元に，話者交代ごとに最尤線形回帰（Maximum Likelihood Linear Regression：MLLR)^14)*6 を用いて適応化した。音声認識は，これら話者ごとの音響モデルのうち，遅れ時間wで判定される話者情報に対応した音響モデルを用いて，認識結果を確定した。

認識実験は，話者適応を行わない場合と，話者が既知として話者適応を行った場合，そして遅れ時間wが２秒，５秒，10秒の話者ダイアライゼーション結果から話者適応を行った場合について評価した。遅れ時間wを変化させた場合においては，従来法である「全音素」モデルと，提案手法の「マルチ音素クラス」モデルについて比較した。

6.2 実験結果

話者適応による音声認識実験の結果を2表に示す。話者適応なしの場合に比べ，話者ダイアライゼーションを利用した話者適応による音声認識性能の向上が確認された。遅れ時間wが長く，話者ダイアライゼーション精度が良いほど，認識率が向上する傾向が見られた。提案する話者適応手法では，ダイアライゼーション結果に基づいて音響モデルの話者適応を行っているため，話者の推定精度が良いほど，適応化された音響モデルの精度も改善する。よって，ダイアライゼーション精度が向上した音声区間だけでなく，それ以外の音声区間においても，適応化音響モデルによる認識精度の向上が確認された。また，遅れ時間wが短いほど（特に２秒では)，話者ダイアライゼーションの精度が悪化するため，話者適応の効果は小さくなった。これは，２～３秒では話者交代点を検出するために十分な情報が得られず，話者交代直後の次の発話者の判定が遅れてしまうことが多いためである。この判定の遅れが，認識時の音響モデルの切り替えタイミングの遅れとなり，認識精度に影響を与えたものと考えられる。

BICの音素クラスについては，全てのwについて「全音素」よりも「マルチ音素クラス」の単語誤り率が小さくなった。遅れ時間wが短いほど，話者交代点付近の話者ダイアライゼーション精度が認識時の音響モデルの切り替えに影響を与えることから，wが２秒において，全話者交代点の前後１発話に関して単語誤り率を算出したところ，「全音素」の24.4％に対して「マルチ音素クラス」は22.5％となった。これは単語誤り削減率7.8％に相当する