振幅多値ホログラムメモリーにおけるAIを用いたデータ再生技術

片野 祐太郎 信川 輝吉 室井 哲彦 木下 延博 石井 紀彦

8K映像を長期保存可能な次世代アーカイブ用光ストレージデバイスとして,ホログラムメモリーの研究を進めている。ホログラムメモリーの記録密度と転送速度を更に向上させるためには,記録信号の多値化を進めていくことが重要となる。そのための有望な方式として,振幅の階調を記録する振幅多値記録方式があるが,この方式では,再生信号のレベル差が小さいため,ノイズが重畳された再生信号から情報を正確に復調する技術が必須となる。本稿では,振幅多値ホログラムメモリーの実現に向けた,AI(Artificial Intelligence:人工知能)技術を用いた独自の信号再生技術の開発について報告する。

1.はじめに

ホログラムメモリーは,次世代のアーカイブ用光ストレージデバイスとして期待されている。データの記録と再生には,記録するビット列のデータを2次元状に変調した,ページデータと呼ばれる画像データを使用する。明点と暗点の振幅2値で変調した場合,ハイビジョン相当のページデータでは1Mビット程度の情報を有しており,これを一度の光照射で記録または再生することが可能であるため,ホログラムメモリーは高いデータ転送速度を有する1)2)。また,さまざまな多重方式の組み合わせにより,高密度記録を実現できる3)4)。さらに,記録媒体にフォトポリマー*1材料を用いることで,長期にわたって安定的にデータを保存することが可能である5)。これらの長所を持つホログラムメモリーは,8Kスーパーハイビジョン(以下,8K)映像などの高速・大容量の情報を長期保存できる光ストレージデバイスとして期待でき,当所で研究開発を進めている。

当所では,これまでにホログラムメモリーを使用した8K映像のリアルタイム再生システムのデモンストレーション6)7)を実施し,このシステムが,記録媒体に保存された85Mbpsの8K映像を安定して再生でき,実用化に向けた有望なシステムであることを確認した。このシステムは,現状で記録密度2.4Tbit/inch2,最大転送速度520Mbpsを達成しているが7),アーカイブシステムとして使用するには,より圧縮率が低く劣化の少ない高品質な映像を取り扱う必要があるため,記録密度と転送速度を更に向上させる必要がある。ページデータ当たりの情報量を増やすことができれば,大容量化と高速化が同時に実現できるため,これまでも,記録時にページデータを表示する空間光変調器*2(SLM:Spatial Light Modulator)や,再生時にページデータを取得するイメージセンサー*3の進化に伴って,ページデータの高精細化や大面積化が進められてきた。しかしながら,SLMやイメージセンサーの狭画素ピッチ化と多画素化のみでは,光学系の大型化,コストの増大,画素数の増加に伴うデータ転送速度の制御などの問題が生じる。

これらの理由から,多値変調方式による大容量化と高速化が検討されている8)。特に,振幅の階調をページデータの記録再生に使用する振幅多値変調方式であれば,振幅2値変調方式の光学系で使用していたSLMやイメージセンサーをそのまま利用することができ,新たな光学機構を追加する必要がないというメリットがある。一方,振幅多値信号では中間の階調も使用するため,記録再生時にノイズの影響を受けやすいという課題があり,より正確に信号を再生できる技術が必要となる。

本稿では,上記の課題を解決するために,再生ページデータに重畳された光学系のノイズ特性を事前にAIに学習させ,このAIをページデータの復調に活用する手法について報告する。まず,ホログラムメモリーの原理について述べた後,提案手法を用いた場合の振幅2値変調方式における復調特性について詳述し,次に,振幅4値変調方式における数値シミュレーション結果について報告する。

2.ホログラムメモリーの記録再生の原理

2.1 記録再生原理

ホログラムメモリーの記録再生の原理を1図に示す。

記録対象のビット列は,明点または暗点のシンボルが2次元状に並んだページデータに変換される。これをSLMに表示し,レーザー光を空間的に強度変調することで信号光とする。信号光を記録媒体に照射する際,レンズによって光学的にフーリエ変換される*4ため,フーリエ変換面(信号光が集光されるレンズの焦点面)付近に開口を設置し,不要な高周波成分をカットして照射面積を狭くすることで,記録密度を向上させることが一般的である。この信号光と,無変調の参照光とを同じ領域に照射すると,光の干渉縞*5が生じる。ここに記録媒体を置くことで,干渉縞の明暗に応じた屈折率の分布を記録することができる。これがホログラムである。

再生時には,読み出し用の参照光のみを記録媒体に照射する。参照光がホログラムによって回折*6され,ページデータが重畳された再生光を取り出すことができる。これをイメージセンサーで撮影し,その画像からページデータを切り出して復調することによって,元のビット列を再生することができる。

1図 ホログラムメモリーの記録再生原理

2.2 再生時の課題

記録および再生時に光路を伝搬することにより,再生されたページデータの画像には光学ノイズが混入している。例えば,光学部品へのほこりの付着や,レーザー光源の面内輝度分布により,再生ページデータでは情報抜け,輝度むらなどが生じる(2図(a)(b))。これによって,例えば,ほこりの影になって本来明点であったシンボルが誤って暗点として再生されたり,あるいは,逆に本来暗点であったシンボルが誤って明点として再生されたりすることがある。これらは「固定パターンノイズ」と呼ばれ,同一の光学系から再生されたページデータにおいては,同じ位置に共通したノイズが重畳される。そのため,すべてのページデータを加算平均することで一定のノイズ成分を抽出することができ,各ページデータからこれを減算することでノイズの影響を低減できることが報告されている9)

また,レンズ収差*7や,信号光の集光点に配置された開口によって生じる高周波成分の欠如は,像ぼやけを引き起こす(2図(c))。さらに,SLMとイメージセンサーの画素ピッチの違いや相対的な位置ずれは,リサンプルノイズを引き起こす(2図(d))。このとき,仮に画素ピッチが同じSLMとイメージセンサーを使用した場合でも,レンズ収差の影響があるため,ページデータの全面で画素ずれを無くすことは難しい。このような像ぼやけやリサンプルノイズによって,明点から周囲の画素領域に光が漏れ出し,明点の輝度が低下すると同時に,暗点の輝度が上昇するため,復調誤りが生じる原因となる。これは「符号間干渉」と呼ばれ,前述した固定パターンノイズと異なり,ページデータ内の明点の位置によって復調誤りが生じる領域が異なるため,影響を抑制することは容易でなく,復調精度低下の大きな要因となっている。

2図 記録再生で混入するノイズ

3.CNNによる振幅2値変調データの復調

3.1 CNNによる再生データの復調

復調精度を改善するために,AI技術の1つである畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)10)*8を用いた。CNNは,特に画像認識において優れたAI技術として,近年急速に発展したニューラルネットワークの一種である。例えば,顔認識においては,異なる角度や明るさで撮影された顔画像をCNNに入力して特徴を学習させることで,CNNが顔画像を認識して正確に分類することができる。ホログラムメモリーで再生されるページデータも,イメージセンサーで取得した一種の画像データであることに着目すれば,再生されたページデータをCNNに入力し,その特徴をあらかじめCNNに学習させることで,ノイズが重畳されたページデータであっても高精度に復調できると考えられる。本章ではまず,振幅2値変調データを例に,学習および復調の方法と,復調精度について説明する。

3.2 振幅2値変調符号

復調対象である信号の変調符号について説明する。振幅2値変調符号として用いた5:9変調符号を3図に示す。5:9変調符号とは,記録対象のビット列を5ビットごとに区切り,それを3×3シンボル,すなわち9つのシンボルで構成された変調ブロックとし,このブロックを順番に並べていくことでページデータを作成する符号方式である。このとき各変調ブロックは,2つの明点と7つの暗点から成る。すなわち,4図に示すように,9つのシンボルの輝度を取得し,輝度値が最も高い2つのシンボルの明点位置が特定できれば,元のビットに復調できる。このような復調手法を「硬判定*9による復調」と呼ぶ。5:9変調符号の硬判定による復調は,シンプルで高速である一方で,処理が単純であるため,ノイズによる復調誤りも発生しやすい。

3図 5:9変調符号
4図 硬判定による5:9変調符号の復調

3.3 CNN復調の流れ

CNNによる復調処理を5図に示す。

CNNの学習においては,多数の再生ページデータと,それに対応する記録ビット列をペアとした教師データ*10を事前に用意する。教師データを繰り返し入力することで,CNNに再生ページデータの特徴を学習させる。再生ページデータには,ホログラムメモリーの記録再生時に光学系のノイズが重畳されているため,CNNは学習を進めていくにつれて,ノイズの特性を踏まえて5:9変調符号を復調できるようになる。5:9変調符号では,記録ビット列として5ビット,すなわち32種類の変調ブロックが存在するため,CNNは32種類の尤度(もっともらしさ)を出力する。その中で,最も尤度の高い変調ブロックに対応するビット列を,復調されたビット列と見なす。

前述したように,固定パターンノイズの場合には,再生されたページデータにおいて同じ位置に共通したノイズが発生する。こうした位置ごとに異なるノイズ特性を学習させるために,CNNを変調ブロックごとに用意した(6図)。それぞれの変調ブロックで独立に学習と復調を行うことで,より高精度な復調が可能となる。

5図 CNNによる復調処理
6図 ノイズの面内位置依存性を学習するCNN

3.4 振幅2値変調データを復調するCNNの構造

5:9変調されたデータを復調するCNNの構造を7図に示す。一般に,CNNは多数の層で構成されるが,層数とCNNの処理時間はトレードオフの関係にある。CNNの復調処理時間が増大すると,ホログラムメモリーにおいては転送速度が低下してしまうことを考慮し,ここでは,2つの畳み込み層と,2つの全結合層でネットワークを構成した。

CNNには入力信号として,再生された変調ブロックの9つのシンボルの輝度値を入力する。まず,畳み込み層では,複数のフィルター(7図では茶色の正方形で表す)をスライドさせながら,フィルターの係数と入力信号の各輝度値との間で積和演算をする処理(畳み込み処理)が行われる。フィルターのサイズは,畳み込み層1では3×3シンボル,畳み込み層2では2×2シンボルとした。また,畳み込み層1および畳み込み層2では,それぞれ32種類および64種類のフィルターを用意した。複数のフィルターを用いることで,入力信号の特徴を正確に抽出できるようになる。フィルターの係数は,CNNの学習によって最適化される。

全結合層は,前後の層を接続する層であり,演算の結果を格納するユニット(「ノード」と呼ばれる)の集合で構成される。全結合層1では,畳み込み層2の出力を1,024個のノードに結合し,全結合層2では,最終的に32個のノード(それぞれ5ビットのデータの尤度に対応)に結合する。それぞれのノード間は,「重み」と呼ばれる係数で結合される。

フィルターやノード間の係数の値は,学習前にランダムな値で初期化される。教師データに対する復調精度が高くなるように,学習時に誤差逆伝搬法11)*11によって調整され,最終的な値が決定される。

7図 5:9変調されたデータを復調するCNN

3.5 振幅2値変調データの復調結果

光学系から再生されたデータを使用して復調精度の検証を行った。ページデータのサイズは1,740×1,044シンボルとした(6図)。1つのページデータ中には201,840個の変調ブロックが存在し,これと同数のCNNを用意した。角度多重記録*12された864枚の再生ページデータを分割し,700枚の教師データと164枚の評価用テストデータとした。

学習の例を8図に示す。エポック*13数を重ねていくことで,徐々にCNNの復調精度(CNNが出力したデータの正解率)が向上していく。しかしながら,ページデータ面内の領域によってノイズ特性が異なり,ノイズ量の多い領域では学習が完了するのに時間を要する。8図に示した結果は一例であるが,そのほかの多くの領域でも30エポック以内で学習が完了した。一方で,今回の実験では,最大で200エポックが必要となる領域も存在した。すべてのCNNで一律のエポック数を設定してしまうと,未学習や過学習*14が発生するため,過学習が進む前に学習を中断させるアーリーストッピング手法12)を適用した。同様に過学習を防ぐために,学習時にはドロップアウト*15を適用した。

次に,従来用いていた硬判定による復調の結果と,CNNによる復調の結果を比較した。164枚のテストデータを復調して生じた合計ビット誤り数を9図に示す。ページデータの全域で,硬判定よりもCNNの方が,復調誤りが低減されている。平均ビット誤り率は,硬判定では1.2×10-3であるのに対し,CNNでは3.4×10-4となり,約1/4に低減できた。

そこで,CNN復調の効果を詳細に考察した。まず,9図より,変調ブロック番号1の付近と変調ブロック番号201,840の付近の領域において,硬判定と比べて大きく復調誤りが低減されていることが分かる。これらの領域は,ページデータの外周部に当たり,記録再生時にビームの外周部に位置するため,レンズ収差の影響を受けやすい。この領域で復調誤りが低減できたことから,収差が生じていても,CNNで正確に復調できたことが分かる。

次に,ページデータ内で最もビット誤りが多かった,変調ブロック番号48,078および変調ブロック番号48,658について検証した。この2つの領域は,ページデータ内で縦方向に隣接している変調ブロックである。164枚のテストデータのうち,硬判定の復調においてのみビット誤りが発生した例を10図に示す。変調ブロック番号48,078の右上のシンボルと,変調ブロック番号48,658の中央右のシンボルに注目すると,記録あるいは再生時に輝度値が著しく低下したことが分かる。複数のページ(10図の例では50ページ目と108ページ目)で同様の傾向が見えたため,これは固定パターンノイズによるものと考えられ,硬判定では2番目に輝度値の高いシンボルの検出に失敗し,ビット誤りが生じていた。一方,CNNでは,固定パターンノイズが重畳されていることを事前に学習していたため,誤り無く復調できた。この例は,CNNの大きな特徴を表した結果の1つと考えられる。

8図 CNNの学習例
9図 5:9変調された164枚のページデータを復調した結果の比較
10図 固定パターンノイズにより硬判定復調で復調誤りが生じた再生データの例

4.CNNによる振幅4値変調データの復調

4.1 振幅4値変調符号

振幅2値変調符号に続き,振幅4値変調符号におけるCNN復調の精度について検証した。使用した10:9変調符号を11図に示す。この符号化方式では,記録対象のビット列を10ビットごとに区切り,5:9変調符号と同様に9つのシンボルで構成された変調ブロックに変換する。5:9変調符号とは異なり,3種類の輝度レベルを持つ3つの明点と6つの暗点から構成するため,5:9変調符号の2倍となる10ビットの情報量を記録できる。なお,振幅値は,3種類の輝度レベルに暗点を加えて振幅4値となる。また,復調時に輝度の基準値となるように,輝度値を8ビットで表した場合,どの変調ブロックにも必ず輝度値が255となる明点を存在させる。

硬判定の手順を12図に示す。振幅2値変調と同様に,すべてのシンボルの輝度値を取得した後,最も輝度値の高いシンボルが255,最も輝度値の低いシンボルが0となるように正規化する。輝度値の高い上位3シンボルを明点と見なし,2つのしきい値(12図の例では125と213)から明点の輝度レベルをそれぞれ判定する。しきい値判定後の輝度値は,0,85,170,255の4値とした。これは,記録時における明点の輝度値に等しい。

11図 10:9変調符号
12図 硬判定による10:9変調符号の復調

4.2 振幅4値変調データを復調するCNNの構造

振幅2値変調においては,符号間干渉によって輝度値に多少の変動が生じていても,明点の位置さえ正確に推定できれば復調誤りは生じなかった。一方,振幅4値変調では,明点の輝度レベルも正確に判定しなければならないため,符号間干渉によるノイズ特性をより正確にCNNに学習させる必要がある。

そこで,ページデータの構成に注目した。ページデータは,変調ブロックが2次元状に並べられたものである。よって,変調ブロック内のシンボル間だけではなく,隣接する変調ブロックのシンボルからも符号間干渉が生じ,ノイズとなってしまう(13図)。この影響を抑制するために,復調対象の変調ブロックに,周囲1シンボル分の情報を合わせた25シンボル(5×5)の情報をCNNへ入力する。これによって,よりノイズ耐性の高い復調が可能となる。

復調誤りが少なくなるように,フィルターやノード数を最適化したCNNの構成を14図に示す。CNNに入力された5×5シンボルの情報について,サイズが2×2シンボルのフィルターを有する畳み込み層によって特徴が抽出され,その後,2層の全結合層によって,最終的に1,024種類(=10ビット)の尤度が出力される。振幅2値の場合と同様に,最も尤度が高いものを復調ビットとする。

13図 隣接する変調ブロックからの符号間干渉
14図 10:9変調されたデータを復調するCNN

4.3 振幅4値変調データの復調結果

振幅4値変調データについて,硬判定による復調とCNN復調の比較を行った。評価に使用したデータセットの条件を1表に示す。データセットは,ランダムなビット列を,誤り訂正符号である空間結合LDPC(Low-Density Parity-Check)符号13)を用いて符号化し,10:9変調でページデータにした後,実際の光学系において記録再生時に重畳されるノイズ(符号間干渉,固定パターンノイズ,ホワイトノイズ)を加えることで構成した。再生ページデータの輝度値のヒストグラムの例を15図に示す。ノイズによって,4値が互いに重なり合った再生信号となっている。

まず,硬判定による復調を行った。明点の振幅レベルを判定する際に使用するしきい値については,最も復調誤りが少なくなるように調整した結果,それぞれ125および213となり,復調後のビット誤り率は3.3×10-2であった。我々のシステムにおいては,空間結合LDPC符号によって誤りを完全に訂正するためには,復調後のビット誤り率を2.0×10-2以下とする必要がある14)。したがって,硬判定の場合は,復号後の誤りを完全に訂正することができなかった。

次に,CNN復調について検証した。CNNに入力する変調ブロックのサイズを5×5シンボルとした場合,復調後のビット誤り率は3.4×10-3となり,硬判定と比べて約1/10に低減することができた。これは,上述の2.0×10-2を下回っており,空間結合LDPC符号によって完全にエラーフリーとなることが確認できた。

また,14図に示したCNNにおいて,入力する変調ブロックのサイズを3×3シンボルとした場合についても評価した結果,ビット誤り率は4.1×10-3となった。入力する変調ブロックを5×5シンボルとした場合と3×3シンボルとした場合を比較すると,5×5シンボルとした場合の方が,復調後のビット誤り率を約20%低減できており,周辺シンボルの輝度値を合わせてCNNに学習させることで,よりノイズ特性に応じた正確な復調が可能となることを確認できた。

1表 評価に使用したデータセットの条件
教師データ用の変調ブロック数 605,520
テストデータ用の変調ブロック数 201,840
記録時における明点の輝度値 85,170,255
SLMの画素ピッチ(µm) 8.0
イメージセンサーの画素ピッチ(µm) 5.5
15図 ノイズが重畳された振幅4値ページデータの再生輝度ヒストグラム

5.むすび

ホログラムメモリーにおける多値変調方式の導入に向けて,AIを用いたデータ再生技術を開発した。記録再生に用いるページデータが画像情報であることに注目し,画像認識に適したAI技術としてCNNを導入した。ノイズが重畳された再生データをあらかじめCNNに学習させることで,ノイズ特性を踏まえた復調が可能となることを示した。また,ページデータの領域ごとに独立にCNNを用意することで,面内の位置ごとに異なるノイズ特性を詳細に捉えることが可能となった。

この技術を用いて,振幅2値変調符号における復調特性を評価し,従来手法の硬判定と比べて復調誤りを約1/4に低減できることを確認した。また,レンズ収差や固定パターンノイズの影響があっても,正確に信号を復調することができた。

さらに,振幅4値変調符号へのCNN復調の導入を検討した。符号間干渉による輝度値の変動が多値変調信号の復調精度に影響することから,復調対象の3×3シンボルだけでなく,周辺シンボルを合わせた5×5シンボルをCNNに入力する構成とすることで,硬判定と比べて復調誤りを約1/10に低減できた。復調されたデータに空間結合LDPC符号を適用することでエラーフリーとなることが確認され,振幅4値変調符号を用いたホログラムメモリーの実現の見通しが得られた。

今後は,高密度化・高転送速度化に向けた研究を更に進め,ホログラムメモリーを使った8K映像のアーカイブシステムの実用化を目指す。

本稿は,Japanese Journal of Applied Physicsおよび映像情報メディア学会技術報告に掲載された以下の論文を元に加筆・修正したものである。

Y. Katano, T. Muroi, N. Kinoshita, N. Ishii and N. Hayashi:“Data Demodulation using Convolutional Neural Networks for Holographic Data Storage,” Jpn. J. Appl. Phys.,Vol.57,No.9S1,pp.09SC01-1-09SC01-5(2018)

片野, 室井, 木下, 石井:“畳み込みニューラルネットワークによる多値記録ホログラムメモリー再生信号の復調手法の検討,” 映情学技報,Vol.43,No.5,MMS2019-20,pp.205-208(2019)