スーパーハイビジョン音響用バイノーラル技術

(1) 残響付加機能

残響のある室内の22.2ch音響のスピーカーごとの残響応答はスピーカーの方向だけでなく，全ての方向から到来する室内の反射音を考慮しなければならない。そこで，スピーカー位置を音源位置とし，所望音場の受聴位置で指向性マイクを用いて測定した方向別の室内インパルス応答（DRIR：Directional Room Impulse Response)^*2 に聴取者のHRIRを方向別に畳み込むことで方向別の残響応答が近似できると仮定した。ただし，方向別に全てのスピーカーの残響応答を重ね合わせる必要がある。しかし，DRIRを測定する方向は有限であり，マイクロホンには主軸の方向以外にも感度があるので，測定したDRIRをそのまま使用したのでは，十分な近似精度が得られない。一方，受聴位置でダミーヘッドを用いて測定したバイノーラル室内インパルス応答（BRIR：Binaural Room Impulse Response)^*3 には，所望音場の残響の応答に，測定に使用したダミーヘッドのHRIRも含まれているので，聴取者に適合しないことがある。そこで，DRIRとダミーヘッドのHRIRから推定したBRIRとダミーヘッドを用いて実測したBRIRのスペクトログラムを比較し，両耳の位置で両者が一致するようにスケーリングを行った補正DRIRを求め，これを用いて聴取者に適合する残響応答を推定する。残響付加機能の処理の流れを3図に示す。残響応答計算部では，まず，DRIRにその方向のダミーヘッドのHRIRを畳み込み，その信号を短時間フーリエ変換（STFT：Short Time Fourier Transform）して複素スペクトログラムに変換する（処理１)。同様に，BRIRを複素スペクトログラムに変換する（処理２)。この両者を比較し，各時間の周波数の振幅特性，位相特性が(1)式の関係を満たすようにスペクトログラムを計算し（処理３)，逆短時間フーリエ変換（ISTFT：Inverse STFT）を行って時間信号に変換する（処理４)。

ここで，S_B，S_Di，はそれぞれBRIRのスペクトログラム，i番目の方向のDRIRにダミーヘッドのHRIRを畳み込んだ信号のスペクトログラム，導出されるi番目の方向の信号のスペクトログラムを表す。kは時間，fは周波数，Nは全方向数である。更に，BRIRの測定で使用したダミーヘッドの特性をキャンセルするために，HRIRの最小位相成分^*4 との逆畳み込みを行い，補正DRIRを得る（処理５)。

次に，残響生成部で信号処理量の圧縮と残響の生成を行う。まず，残響応答計算部で計算した補正DRIRを主成分分析で基底展開し（処理６)，寄与率が上位の基底だけを用いて畳み込みを行う（処理７)。この出力を主成分分析の際に算出される重み係数に従って加重加算することにより方向別の残響を得る（処理８)。この方向別の残響に聴取者のHRIRを畳み込むことで，所望の音場の残響を生成することができる（処理９)。なお，残響応答計算部で分割されたHRIRの全域通過成分^*5 は遅延として近似し，この遅延に相当するサンプル分だけ方向別の残響の先頭より切り詰める（処理10)。以上の処理を，22.2ch音響の全てのスピーカーで行う。

(2) ヘッドトラッキング機能

モーションセンサーを用いて聴取者の頭部の運動を検出し，それに合わせてHRIRを切り替える機能である。この機能によって，各チャンネルの音像の位置をスピーカーで受聴する場合と同様に固定することができる。被験者への事前調査に基づいて，頭部の水平運動の許容範囲を全方位，垂直運動の許容範囲を基本姿勢から±20°とした。また，検出空間分解能は水平運動に対しては1°～5°とし，検出精度の求められる正面では細かく，側面から背面では粗く設定した。垂直運動に対しては運動の頻度が低いので20°とした。なお，モーションセンサーでは1/125秒おきに頭部の運動を検出した。

検出空間分解能を高くすると測定しなければならないHRTFの方向数が増加し，被験者の負担が大きくなる。そこで，HRTFの測定方向を方位角5°間隔とし，測定していない方向のHRTFを補間して求めた。補間はHTRFを最小位相成分と全域通過成分に分割して行った。最小位相成分は周波数スペクトルの各周波数を方位角方向に隣接するHRTFの最小位相周波数スペクトルの値を用いてスプライン補間^*6 した。また，全域通過成分は同じく方位角方向に隣接するHRTFの全域通過成分を遅延近似し，この値をスプライン補間した。

ヘッドトラッキング機能を付加することで，特に，正面方向の音像の定位に改善が見られた。頭部運動の許容範囲やセンサーの検出分解能など，パラメーターは今後詳細に検討する予定である。

(1) 全域通過成分

周波数振幅特性が一定である全域通過成分を遅延で近似した。各伝達関数の遅延量は伝達関数の分子と分母の時間領域表現の相互相関関数を用いて算出した。

(2) 最小位相成分

最小位相成分は因果律を満たすので，そのまま自己回帰移動平均モデル^*9 として実装が可能である。しかし，系の変動，測定時の雑音や誤差，HRTFの個人性などさまざまな要因によって，周波数特性上のピークがキャンセルできず，音質が劣化することがある。そこで，以下のような処理を行って，逆変換行列の周波数特性を維持したまま，急しゅんなピークを抑圧した。

1. 全伝達関数中の周波数振幅特性上のピークを探索する。このピークが平均振幅よりしきい値NdB以上大きい場合には次の②のステップに進む。
2. 全伝達関数の極（零点）の中から，ピークを抑圧する極（零点）を探索する。①で探索されたピーク周波数が全伝達関数で共通してしきい値MdB以上のピークである場合には，その探索範囲を全伝達関数で制御する極とする。そうでない場合には，その探索範囲を該当する伝達関数で制御する零点とする。
3. ②で制御対象となった全伝達関数の極または該当する伝達関数の零点の中から，ピークの正規化角周波数に偏角が最も近いものを探索し次の④の処理対象とする。
4. 処理対象となった極（零点）を，ピーク周波数に対応する単位円上の点に対して遠ざける（近づける）方向にシフトする。このときのシフト量は極（零点）をシフトする前後で，振幅比が-１dBとなる値にする。
5. シフト後の周波数特性を再計算し①に戻る。

以上の処理を行った後，包絡線近似を行って伝達関数を平滑化する。この処理によって，ミュージカルノイズなど周波数振幅特性上のピークに起因するノイズを良好に抑制することができた。