8K放送に向けたHEVC/H.265符号化・復号装置の開発と伝送実験
杉藤 泰子 井口 和久 市ヶ谷 敦郎 千田 和博 境田 慎一
本稿では,世界初となる8K放送規格準拠の符号化・復号装置と,この装置を用いて実施した放送衛星による伝送実験について紹介する。8Kスーパーハイビジョン(8K)は,臨場感の高い8K映像と22.2マルチチャンネル音響を提供する次世代の放送システムである。日本では,8K放送の国内規格が2014年に策定され,2016年には試験放送の開始が予定されている。当所では,この国内規格に準拠したHEVC(High Efficiency Video Coding)/H.265方式による8K符号化・復号装置を開発した。本稿では,はじめに8K放送の特徴とロードマップについて説明し,次に今回開発した8K HEVC/H.265符号化・復号装置の技術内容を紹介する。また,この装置を用いて実施した放送衛星による伝送実験について述べる。この実験の結果より,開発した装置は,試験放送で想定されるビットレートで,8K信号を高品質に伝送できることが確認できた。
1.まえがき
現在,次世代の放送システムとして,臨場感の高い8K映像と22.2マルチチャンネル(以下,22.2ch)音響を提供する8Kスーパーハイビジョン(以下,8K)の開発が進められている。日本では,2014年に8K放送のための国内規格が策定され,2016年には放送衛星による8K試験放送が開始される予定である。8K放送を実現するためには,映像の品質を保ちながら,映像データを衛星放送で伝送可能な容量にまで圧縮することが必要である。上記の国内規格においては,8K放送を実現するための映像符号化,音声符号化,多重化,伝送方式などが規定されている。
一方,ISO/IEC(国際標準化機構/国際電気標準会議)およびITU-T(国際電気通信連合 電気通信標準化部門)において,2013年に新たな映像符号化方式MPEG-H HEVC/H.2651)(以下,HEVC)が標準化された。HEVCは8Kの映像フォーマットに対応しており, 従来方式であるMPEG-4 AVC(Advanced Video Coding)/H.264(以下,AVC)の約2倍の圧縮性能を持つ。HEVCは,特に8Kのような高解像度の映像で,従来方式と比較して符号化性能を大幅に改善することができる。その一方で,HEVCの符号化・復号処理の演算量は大きく,AVCの2倍を上回るとされている。このため,HEVCの符号化・復号処理をリアルタイムに行うことは,従来は困難とされていた。
当所では,8K放送規格に準拠したHEVC/H.265リアルタイム符号化・復号装置を世界で初めて開発した。この装置は,22.2ch音声符号化・復号装置と映像・音声多重化機能を包含しており,これらの機能は映像符号化・復号装置に一体化されている。本装置を用いて,2015年に放送衛星による伝送実験を行った。
本稿では,まず8K放送の特徴とロードマップについて説明し,開発した8K HEVC/H.265符号化・復号装置の技術内容を紹介する。さらに,この装置を用いて実施した放送衛星による伝送実験について報告する。
2.8K放送の概要
2.1 8Kのパラメーター
8Kは,高臨場感の8K映像と22.2ch音声を提供する次世代の放送システムである。1表に8Kと現行の2K衛星デジタル放送(以下,現行の衛星放送)とのパラメーターの比較を示す。8Kの映像・音声パラメーターは,現行の衛星放送に比べて,忠実度が非常に高いものとなっている。
8Kの映像フォーマットはITU-R勧告BT.20202) として国際標準化されている。このフォーマットは,水平方向の画素数が7,680(約8,000)であることから「8K」と呼ばれている(Kはキロ,1,000倍を表す)。非圧縮の8K映像信号(色差フォーマット4:4:4,量子化ビット数12bit,フレーム周波数60Hz)のビットレートは約72Gbpsである。
22.2ch音声はSMPTE(Society of Motion Picture and Television Engineers)2036-2-20083) として国際標準化されている。非圧縮の22.2ch音声信号(サンプリング周波数48kHz,量子化ビット数24bit)のビットレートは約25Mbpsである。
非圧縮の8K映像はビットレートが非常に高いため,8K放送においては,映像を高品質なまま800分の1程度のデータ量に圧縮することが重要となる。
8Kスーパーハイビジョン | 2K衛星デジタル放送 | ||
---|---|---|---|
映像 | 空間解像度 (横×縦の画素数) | 7,680×4,320 | 1,920×1,080 |
アスペクト比 | 16:9 | 16:9 | |
画面走査方式 | プログレッシブ | インターレース | |
フレーム周波数 (Hz) | 120, 120/1.001, 60, 60/1.001 | 60/1.001 | |
量子化ビット数 (bit) | 10, 12 | 8 | |
色域 | Rec.2020 | Rec.709 | |
音声 | チャンネル数 (ch) | 22.2 | 最大5.1 |
サンプリング周波数 (kHz) | 48, 96(オプション) | 32, 44.1, 48 | |
量子化ビット数 (bit) | 16, 20, 24 | 16 以上 |
2.2 8K放送のロードマップ
総務省が主導する官民の協議会は,2014年に8K放送のロードマップに関する中間報告を公表した4)。このロードマップによると,2016年に8K試験放送が開始され,2018年には8K実用放送が開始される予定である。これらの放送では,放送衛星の使用が前提となっている。さらに,東京オリンピック・パラリンピックが開催される2020年には,8K放送の本格的な普及が期待されており,目指す姿として,多くの視聴者が市販のテレビで8K番組を楽しんでいることが挙げられている。
3.8K HEVC/H.265符号化・復号装置
当所では,世界初となる8K放送規格準拠のHEVC/H.265符号化・復号装置を開発した。
1図に8K HEVC/H.265符号化・復号システムの外観を示す。本システムは,映像・音声データを圧縮する符号化装置,圧縮された映像・音声データを復号する復号装置,符号化装置の入力信号および復号装置の出力信号を変換する装置から構成されている。符号化装置は2013年に5),復号装置は2015年に開発した。2表に8K HEVC/H.265符号化・復号装置の仕様を示す。本章では,この符号化・復号装置の特徴を紹介する。
映像 | 符号化方式 | MPEG-H HEVC / H.265 |
---|---|---|
空間解像度/フレーム周波数 | 7,680×4,320 / 59.94P | |
色差フォーマット/量子化ビット数 | 4:2:0 / 10bit | |
入出力インターフェース | 3G-SDI※1 × 17 | |
音声 | 符号化方式 | MPEG-4 AAC※2 LC (Low Complexity) |
入出力チャンネル数 | 22.2ch | |
サンプリング周波数/量子化ビット数 | 48kHz / 24bit | |
入出力インターフェース | MADI※3 (AES10※4) | |
多重化 | 多重化方式 | MPEG-H MMT※5 |
入出力インターフェース | RJ-45※6 × 1 |
※1 Serial Digital Interface ※2 Advanced Audio Coding ※3 Multichannel Audio Digital Interface
※4 Audio Engineering Society 10 ※5 MPEG Media Transport ※6 Registered Jack 45
3.1 8K映像のリアルタイムHEVC符号化・復号処理
8K HEVC/H.265符号化・復号装置は,演算量が膨大な8K映像のHEVC符号化・復号処理をリアルタイムに行うことができる。2図に符号化装置の構成を示す。
符号化装置においては,リアルタイム処理を実現するために,映像の各フレームは空間的に17分割され,各分割領域は並列に符号化される。符号化装置は17枚の符号化基板から構成される。各符号化基板は1つの分割領域を処理し,隣り合う基板と符号化に必要な動きの情報を共有する。この分割方法は,符号化基板間での情報の伝送量,3G-SDIインターフェースの有効画素数,水平方向の動き探索範囲を広くとれる方が符号化効率が良いことを考慮して決定した。
本符号化・復号装置は,映像符号化方式としてHEVCを採用している。前述のように,HEVCは2013年に国際標準化された最新の映像符号化方式である。その符号化性能は従来方式に比べて向上しており,特に8Kのような高解像度映像で顕著である。これは,HEVCが従来方式に比べてより多くの符号化モードを備えるためである。その反面,多くの符号化モードから最適なものを選択することが,HEVCのリアルタイム処理を行う上での課題となっている。この課題を解決するために,符号化装置では,原画像の複雑度,符号化結果,ビットレート設定に応じて,符号化パラメーターを決定している。
2015年に開発した復号装置も,符号化装置と同様の構成となっている。復号装置は17枚の復号基板で構成され,各復号基板は映像フレームの1つの分割領域を並列に処理している。
3.2 音声符号化・復号装置と多重化機能
本符号化・復号装置は,MPEG-4 AAC(Advanced Audio Coding)方式6) による22.2ch音声符号化・復号装置と,圧縮した映像・音声データを束ねて伝送するためのMPEG-H MMT7)(MPEG Media Transport)方式による多重化・多重分離機能を包含している。
2図に示すように,音声符号化装置は1枚の基板に実装されており,8K HEVC/H.265符号化装置に組み込まれている。音声復号装置も同様に1枚の基板で構成されている。多重化機能は,8K HEVC/H.265符号化装置の制御基板の一機能として実装されている。この制御基板は,映像・音声符号化基板から出力される符号化データを束ねてMMT形式で出力する。受信側では,MMT形式のデータを解釈して映像・音声復号基板に分配するための多重分離機能が,8K HEVC/H.265復号装置の制御基板に組み込まれている。
3.3 国内の8K放送規格への準拠
開発した符号化・復号装置は,国内の8K放送規格に準拠している。8K放送のための規格は,2014年にARIB(Association of Radio Industries and Businesses:電波産業会)で策定された。この規格では,映像符号化,音声符号化,多重化,伝送方式などが規定されている。開発した符号化・復号装置の映像符号化,音声符号化,多重化の方式は,2014年12月に改定されたARIB STD-B32 3.1版(以下,ARIB規格)に準拠している。
ARIB規格で規定された8K映像符号化の処理方法に準拠させるために,8K HEVC/H.265符号化装置を改修した。3図に,ARIB規格に準拠した符号化装置の画面分割方法を示す。ARIB規格では,8K映像符号化処理において,各フレームの4分割(水平方向は7,680画素)を必須としている。画面の上から3つの分割領域では垂直方向が1,088画素であり,4つ目の分割領域では1,056画素である(3図)。ARIB規格では,この4分割領域の内部を再分割することを許容しているため,3図に示すように,4分割領域の内部を既存の17分割に沿って再分割するように改修した。また,符号化装置の動き探索範囲やパラメーターなどをARIB規格に準拠するように変更した。
4.8K衛星放送実験
開発した8K HEVC/H.265符号化・復号装置を使用して,世界初となる放送衛星による伝送実験(以下,8K衛星放送実験)を行った。この実験は,2015年5月のNHK技研公開で展示された8)。4図に8K衛星放送実験の展示会場の写真を示す。本展示では,送信側と受信側の装置を同じ場所に設置した。
4.1 8K衛星放送実験システム
5図に8K衛星放送実験システムの系統図を示す。
(1)送信側
本実験システムでは,非圧縮の映像・音声信号が信号源(記録装置や,カメラとマイクロホン)から出力される。符号化装置は,映像・音声信号を伝送可能なビットレートに圧縮し,圧縮データをMMT形式で出力する。3表に映像・音声のビットレート設定と圧縮率を示す。8K放送における映像・音声のビットレートは検討中であるが,本実験においては,放送衛星の伝送容量とデータ放送や伝送ヘッダーの容量を勘案して設定した。本システムにおける非圧縮の映像・音声フォーマットはそれぞれ8K/ 4:4:4(色差フォーマット)/59.94Hz(フレーム周波数)/12bit(量子化ビット数),22.2ch/48kHz(サンプリング周波数)/24bit(量子化ビット数)である。HEVC方式を採用しているため,映像の圧縮率は約840倍と非常に高くなっている。
映像・音声の圧縮データと字幕データはMMT多重化装置によって束ねられ,スクランブル装置で暗号化される。暗号化データは,伝送路に適合させるため100Mbpsを超えないように制限され,変調装置とアンテナを介して放送衛星に伝送される。以上で説明した送信側の装置は,通常は放送局内に設置される。
テレビ放送の伝送においては,映像データの容量が支配的である。非圧縮8K映像のビットレートは72Gbpsと非常に大きな値となっている。本実験システムでは,HEVC方式の採用と伝送方式の改善によって8K伝送を実現している。HEVCの圧縮性能は,現行の衛星放送で使用されているMPEG-2の約4倍である。また,本実験で使用した放送衛星は,現行の衛星放送で使用されている衛星と同じであるが,伝送方式の改善によって,現行の衛星放送の約2倍(約100Mbps)のデータを伝送することができる9)。この衛星伝送方式は,2014年に改定されたARIB STD-B44 2.0版で規格化されている。本実験で使用した放送衛星は,2016年の8K試験放送においても使用される予定である。
圧縮ビットレート | 非圧縮ビットレート | 圧縮率 (倍) | |
---|---|---|---|
映像 | 85 Mbps | 72 Gbps | 840 |
音声 | 1.4 Mbps | 25 Mbps | 20 |
(2)受信側
5図に示すように,放送衛星から伝送されたデータは,アンテナを介して復調装置で受信され,デスクランブル装置で復号される。MMT多重分離装置は,復号されたデータを字幕データと映像・音声の圧縮データに区切って分配する。映像・音声の圧縮データは,復号装置によって非圧縮形式のデータに復号され,字幕が映像に合成される。
6図に,展示に使用した8Kモニターを示す。6図の受信映像においては,復号された映像の下部と右上に,字幕が合成されている。モニターの周囲には12個の小型スピーカーから構成される枠型スピーカーが取り付けられており,22.2ch音声を再現する10)。
受信側は以上の装置から構成されており,2020年までには,同等の機能を備える受信機が家庭へ導入可能となる予定である。
4.2 8K衛星放送実験の結果
前節で述べた,ARIB規格に準拠した映像符号化,音声符号化,多重化,伝送方式による実験システムを用いて,8Kの伝送実験を行った。その結果,8K映像と22.2ch音声が正しく符号化,伝送,復号されていること,開発した装置が8K試験放送で想定されるビットレートで高品質な映像と音声を伝送可能であることが確認できた。非圧縮映像入力と復号映像出力との遅延時間を計測した結果,約3.5秒であった。
5.むすび
国内の8K放送規格に準拠したHEVC/H.265符号化・復号装置を開発し,放送衛星による伝送実験を行った。実験結果より,開発した符号化・復号装置は8K放送に適用できることが確認できた。
なお,8K HEVC/H.265符号化・復号装置の開発は,三菱電機(株)と共同で行った。
本稿は,IBC2015 Conferenceに投稿した以下の論文を元に加筆・修正したものである。
Y. Sugito, K. Iguchi, A. Ichigaya, K. Chida, S. Sakaida, H. Sakate, Y. Matsuda, Y. Kawahata and N. Motoyama:“HEVC/H.265 Codec System and Transmission Experiments Aimed at 8K Broadcasting,”The Best of IET and IBC 2015-2016,Vol.7,pp.24-29(2015)