研究内容紹介
1.6 符号化
8Kスーパーハイビジョンのフルスペック化、地上波放送実現などを目指し、映像符号化の研究を行っている。
■8K 120Hz HEVCエンコーダーの開発
符号化ストリームはARIB標準規格STD-B32 3.9版に準拠しており、8K 120Hzデコーダーだけでなく、8K試験放送対応のデコーダー（ARIB標準規格STD-B32 3.9版に準拠した8K 60Hzデコーダー）でも60Hz階層のみを部分復号可能である。また、同規格に準拠したHDR用のVUI（Video Usability Information）パラメーターにも対応している。
画面を横方向に4分割して並列処理を行うため、特に縦方向の動きがある映像の分割境界部分で画質劣化が発生しやすい。これを抑制するために、8K 120Hz映像を4K 60Hzに縮小変換し、縮小画像を事前解析することにより全体の符号化を制御する設計とした。高画質化を実現する技術として、事前解析により推定した動き量に基づいて境界部分の量子化値を制御する技術等を開発した。これらの効果を検証するため、ソフトウエアシミュレータを用いた主観評価実験を行い、符号化品質を確認した（1）。これらの研究は（株）富士通研究所と共同で実施した。
120Hz映像符号化の研究開発の一環として、速い動きでの処理や符号化制御の優劣を判別しやすい評価映像を、NTTと共同で制作した。
図1-8 8K 120Hz エンコーダーの外観
■8K 120Hz HEVCデコーダーの開発
エンコーダーと並行して、デコーダーの開発も進めている。これは、汎用的なワークステーション上で動作するソフトウエアデコーダーとインターフェース変換装置で構成される。ソフトウエアデコーダーは、2016年度に映像復号部を実装し、2017年度は音声復号部とTS入力部を実装した。これにより8K 120Hz映像および22.2ch音声のTS信号をリアルタイムに復号することが可能となった。復号した8K 120Hz映像は時空間に8分割された8つのDisplayPortから出力され、インターフェース変換装置によって1本のU-SDI信号に変換出力される。復号した音声信号は、映像信号に多重化され出力される。
■次世代映像符号化技術の開発および標準化
次世代地上放送の実現に向けて、より高効率な次世代の映像符号化技術の開発を行っている。フレーム内予測技術として、イントラ予測における復号済み輝度信号を用いた高精度な色差信号の予測手法や、色差のイントラ予測モードのエントロピー符号化改善手法を開発した（2）。また、フレーム間予測技術として、周囲のブロックの動きベクトルとの連続性を考慮した動き予測補償手法や符号化ブロックの分割形状に適応的な動きベクトル予測手法を開発した。さらに、残差信号のエネルギー推定による直交変換係数のエントロピー符号化の改善手法や、HDR方式の映像での顕著な符号化劣化を低減するデブロッキングフィルターの制御手法を開発した。これらの技術による符号化効率改善を確認し、一部を次世代映像符号化方式の国際標準化会議に次世代符号化方式の要素技術候補として提案した。
HDR映像に対して次世代映像符号化方式における性能改善を促進する目的で、国際標準化会議JCT-VCおよびJVETに対し、HLG方式の評価用素材の提供を行うとともに、比較基準としてHEVCを用いた場合の効率的な符号化設定をBBCと共同で提案した。この符号化設定は次世代映像符号化方式の性能比較に用いる基準として採用された。また、この符号化設定は、HDR符号化に関するHEVC符号化ガイドライン（ISO/IEC TR 23008-15｜ITU-T H. Sup.18）に反映された（3）-（5）。
映像符号化に適したHDRトーンマッピング非線形関数を、海外派遣先での研究としてポンペウ・ファブラ大学と共同で開発し、符号化効率の改善を確認した（6）。
■機械学習の符号化ツールへの応用
機械学習に基づく符号化ツールの映像符号化への導入の可能性について、初期検討としてポストフィルターおよびイントラ予測に対し基礎評価を行った。畳み込みニューラルネットワークによる機械学習手法を用いてポストフィルターを構成し、モスキート雑音の抑制およびPSNR改善の可能性を示した。また、ニューラルネットワークの一種である多層パーセプトロンに基づくイントラ予測器を構成し、学習および評価を行った結果、複数の方向予測および平面予測を包含した挙動を示す予測器が構成可能であり、効率的なイントラ予測器を新たに構築できることを示した。
また、明治大学との研究相互協力において、ネットワーク構造として2つの畳み込み層と2つの全結合層のニューラルネットワークを用いたイントラ予測処理を開発し、予測画素と隣接参照画素を入力とした予測モードの高速化が行えることを確認した（7）。
■超解像技術の高度化および映像符号化への適用
超解像技術の高度化の研究では、2Kから8Kへの超解像技術として、ウェーブレット多重解像度成分間のレジストレーション処理による周波数帯域を考慮した位置合わせと割り付け手法により、従来法よりも高速で高画質な手法を開発した（8）（9）。
映像符号化技術への応用では、フレーム間予測画像として、新たにウェーブレット多重解像度成分間のレジストレーション超解像を用いた「ぼやけ予測画像」と「超解像予測画像」を導入し、改善が得られることを確認した（10）。
■雑音除去・帯域制限装置の開発
符号化効率向上のための符号化前処理装置として、雑音除去・帯域制限装置を開発した。各フレームをウェーブレットパケット分解した各要素位置において縮退関数を適用し、帯域制限周波数と画素値レベルに応じて縮退量を制御することで、高精度な雑音除去および帯域制限処理を可能とした（11）。この研究は総務省の委託研究「地上テレビジョン放送の高度化技術に関する研究開発」を受託して実施した。
| 〔参考文献〕 | |
| (1) | 岩崎，杉藤，千田，井口，神田ほか：“8K120Hzエンコーダシミュレータによる主観評価実験,” 信学総大，D-11-7（2018） |
| (2) | 岩村，根本，市ヶ谷：“Redundant flag removal on chroma intra mode coding,” JVET-H0071,（2017） |
| (3) | 岩村，根本，市ヶ谷，Naccari：“Analysis of 4k Hybrid Log-Gamma test sequences,” JVET-F0094,（2017） |
| (4) | 岩村，根本，市ヶ谷：“Candidate rate points of HLG material for anchor generation,” JVET-G0103,（2017） |
| (5) | 岩村，根本，市ヶ谷，Naccari：“On the need of luma delta QP for BT. 2100 HLG content,” JVET-G0059,（2017） |
| (6) | Y. Sugito et al．：“Improved High Dynamic Range Video Coding with a Nonlinearity based on Natural Image Statistics,” International Journal of Signal Processing Systems, Vol. 5, No. 3, pp.100-105（2017） |
| (7) | 豊﨑，鹿喰，岩村：“深層学習を用いたHEVCイントラ予測モード決定手法の検討,” 信学総大，D-11-56（2017） |
| (8) | 松尾，境田：“Super-Resolution for 2K/8K Television by Wavelet- Based Image Registration,” Proceedings of IEEE GlobalSIP, GS IVM-P.1.4, pp.378-382（2017） |
| (9) | 松尾，市ヶ谷，神田：“ウェーブレット多重解像度成分間のレジストレーションによる2Kから8Kへの画像超解像,” 画像符号化シンポジウム（PCSJ2017），P-2-15, pp.86-87（2017） |
| (10) | 松尾，境田：“Coding Efficiency Improvement by Wavelet Super-Resolution Restoration for 8K UHDTV Broadcasting,” Proceedings of IEEE ISSPIT（2017） |
| (11) | 松尾，井口，神田：“次世代地上放送における符号化効率向上のための帯域制限装置の一検討,” 映情学冬大，14C-4（2017） |