空間像再生型立体映像の研究動向

三科 智之

空間像再生型の立体映像方式(以下,「空間像再生方式」と呼ぶ)は,特別なメガネを使わずに自然な立体像を表示することが可能である。立体写真技術として考案された空間像再生方式を,近年の映像技術の発展により,電気的なデバイスで実現しようとする研究が行われており,当所でも,将来の立体テレビに空間像再生方式を適用する検討を進めている。空間像再生方式を電子化する(電気的なデバイスで実現する)場合,膨大な情報量の扱いが課題となる。本稿では,空間像再生方式に属する「インテグラル方式」と「ホログラフィー」について,原理などを解説し,電子化に向けた研究動向を概観する。

1.まえがき

テレビは白黒からカラー,ハイビジョンへと,さらなる臨場感を求めて進化してきた。現在,2016年の試験放送開始に向けて8Kスーパーハイビジョン(以下,8Kと呼ぶ)の研究開発が進められている。8Kの映像は高い臨場感を再現し,その場にいるような迫力を与える。しかしながら,これまでのテレビは平面(2次元)画像を表示するものである。日常において3次元的にものを見ている我々にとって,立体(3次元)画像を表示するテレビは,これまでのテレビとは異なる新たな臨場感が得られる次世代のテレビとして期待されている。

歴史的にも,人間は古くから立体映像に興味を持っており,現在の3D(Three Dimensions)映画や3Dテレビの原理の基となるステレオスコープ(Stereoscope)1) は1838年に発表されている。また,立体表示として理想的な方式とされる空間像再生方式については,1906年にインテグラル・フォトグラフィー(Integral Photography)2),1948年にホログラフィー(Holography)3)がそれぞれ発表されている。このように,多くの立体表示方式は,立体写真技術として古くから確立されている。

近年,映像技術の発達に伴い,写真乾板の代わりに電気的なデバイスを利用することで,立体像を動画で表示する試みがなされている。本稿では,空間像再生方式に属するインテグラル方式とホログラフィーについて,立体テレビへの適用に向けて進められている研究の動向を紹介する。

2.空間像再生方式

人間がものを見ているとき,その対象物(以下,「被写体」と呼ぶ)から反射してくる光(以下,「物体光」と呼ぶ)が目に入り,水晶体によって網膜上に被写体の像を作っている。したがって,実際には被写体が存在しない場合でも,物体光と同じ光を何らかの手段で発生させて人間の目に入れれば,あたかもその場所に被写体が存在するかのように見えるはずである。空間像再生方式はこの考えを基にした立体方式である。空間像再生方式では,物体光を記録・再生する。1図のように,この方式で再生された物体光が観察者の目に入り,物体光の記録時に被写体が存在した位置に,あたかも被写体が存在するかのように見える。これは普段,ものを見るときと同じ状態なので,特別なメガネをかけることなく,視点位置に応じた立体像が見える。さらに,目の焦点調節も働くため,理想的な立体方式と言える。

空間像再生方式には「インテグラル方式」と「ホログラフィー」の2つの方式がある。インテグラル方式は,Lippmannが発案したインテグラル・フォトグラフィーと呼ばれる技術に基づくもので,多数の小さなレンズが平面状に並んだレンズアレーを撮影・表示の双方で用いることで光を記録・再生する技術であり,自然光の下で実現できるという特徴がある。一方,ホログラフィーは,D. Gaborが発案した,光の回折・干渉現象を利用して光を記録・再生する技術である。レーザー光のような干渉性の高い光を必要とするが,原理上,光の情報を完全に記録・再生することが可能である。次章以降では,これらの方式について,原理,動画表示を実現するための課題,研究動向を解説する。

1図 空間像再生方式

3.インテグラル方式

3.1 原理

インテグラル方式は,インテグラル・フォトグラフィーと呼ばれる立体写真技術の原理に基づく。インテグラル・フォトグラフィーは多数の小さな凸レンズが平面状に並んだレンズアレーを用いて,被写体からの光(物体光)を進行方向で標本化し,その光線群を記録・再生する。記録においては,2図(a)に示すように,レンズアレーを記録媒体の前面に配置する。記録媒体には,レンズアレーを構成するレンズ(要素レンズ)に対応した小さな像(要素画像)がレンズ数と同じ数だけ記録される。再生においては,2図(b)に示すように,記録媒体とレンズアレーを撮影時と同じ配置にして,記録媒体の後方から拡散光を照射する。拡散光は,各要素画像を通過することで輝度が変化した後,要素レンズによって進行方向が変えられて,撮影時に記録媒体に入射した光線に対して逆方向に進行する光線となる。この光線が被写体の存在した位置に光学像を形成する。この光学像を我々は立体像として知覚するが,2図からも分かるように,撮影方向と観察方向が逆転するため,立体像の凹凸が反転するという問題がある。この問題は,各要素画像を画像の中心に対して180度回転させることで解決することができる4)

2図 インテグラル・フォトグラフィー

3.2 電子化に向けた研究動向

当所では,インテグラル方式を立体テレビに適用するために,2図の記録媒体を電気的なデバイス,すなわちテレビカメラと電子ディスプレーに置き換えることで,リアルタイムに物体光を記録・再生できるインテグラル立体テレビを提案した4)。このシステムでは,光軸から周辺に行くに従って屈折率が小さくなる特性を持った光ファイバーレンズ(屈折率分布レンズ)を,記録時のレンズアレーの要素レンズに適用することで,各要素画像を光学的に180度回転させ,立体像の凹凸が反転する現象を回避している5)。このシステムでは,再現できる奥行き範囲を広くするためには,要素画像を表示する電子ディスプレーの画素間隔を小さくする必要がある。また,要素レンズ1つが再生される立体像の1画素に相当するため,立体像の解像度を上げるためには要素レンズの数を増やす必要がある。すなわち,広い奥行き範囲に高解像度の立体像を表示するには,狭画素間隔で多画素な電子ディスプレーが必要になる。

当所では1990年代後半にインテグラル立体テレビの研究をスタートし,高解像度化の試作を重ねてきた。2011年のNHK技研公開では,8Kプロジェクターに画素ずらし技術*1 を適用することで,走査線8,000本級(解像度:15,360(水平)×8,640(垂直)相当)に改修した映像システムを用いたインテグラル立体テレビを発表した6)3図)。この立体テレビでは,全方向の運動視差を有する,約10万画素の立体像を表示することができる。

将来,上記の技術を用いて立体テレビ放送を実現するためには,さらに高品質な立体像の表示が求められる。高品質化には,さらに多画素な映像システムが要求されるが,これまでのような単一の映像デバイスによるシステムでは限界があるため,当所では,複数のカメラや表示デバイスを組み合わせて多画素化を図る検討を進めている。記録においては,7台のハイビジョンカメラを組み合わせた撮像装置を試作し,視域*2 を水平・垂直方向ともに2.5倍に拡大した立体像を記録できることを確認した7)。この撮像装置については,本特集号の報告「複数カメラを用いたインテグラル立体像撮影装置」で詳細を述べる。また,表示においては,4台の液晶パネルの映像をレンズアレーと凸レンズを用いて拡大し,光学的に継ぎ目なく結合することにより,4倍に多画素化を図った表示装置を試作した8)4図)。

インテグラル方式の記録において,遠方の被写体や大きな被写体など,レンズアレーを用いて物体光を記録することが困難な被写体に対しては,被写体の奥行き情報から計算によって立体像を生成する手法の検討も進めている。この手法においては,異なる場所に配置した複数のカメラで被写体を撮影し,その多視点映像から被写体の3次元モデルを生成して,この3次元モデルからインテグラル方式の要素画像群を計算する9)

インテグラル方式は原理上,目の焦点調節が働く立体方式である。当所で試作したインテグラル方式の表示装置について,再生された立体像を観察したときの目の調節応答を計測した。輻輳*3 によって調節が誘導される要因を排除するために,単眼でインテグラル立体像を観察した場合の調節応答の測定実験を行った。この結果,インテグラル方式では,単眼視においても,実物体を見たときと同様に,奥行き位置の変化に対して調節が追従するデータが得られた10)

3図 インテグラル立体テレビ
4図 複数の表示デバイスから成るインテグラル立体表示装置

4.ホログラフィー

4.1 原理

ホログラフィーは,光の回折,干渉現象を利用して光を記録・再生する技術である。ホログラフィーの記録は,レーザー光を干渉させるために暗室内で行われる。5図(a)に示すように,レーザー光を2つに分けて,一方を被写体に,もう一方を写真乾板などの記録媒体に照射する。記録媒体には,被写体から反射した物体光と直接記録媒体に照射した光(参照光)とが干渉して生じる明暗の縞模様(干渉縞)が記録される。この干渉縞が記録された記録媒体をホログラムと呼ぶ。一方,再生においては,5図(b)に示すように,記録時に用いた参照光と同じ特性を有する光(照明光)をホログラムに対して参照光と同じ方向から照射する。照明光はホログラムに記録された干渉縞によって回折されて物体光と等価な光となり,被写体の存在した位置に被写体の光学像を形成する。観察者は,この光学像を,特別なメガネをかけることなく立体的に見ることができる。ただし,このとき同時に,透過光と共役光という不要な光も発生する。透過光とは,照明光がそのままホログラムを通過してくる光である。また,共役光とは,物体光と位相成分が反転した位相共役な光である。

5図 ホログラフィー

4.2 電子化に向けた研究動向

ホログラフィーを立体テレビなどの立体動画表示に適用するには,干渉縞を動画表示用の周波数と同じ頻度で書き換える必要がある。このため,液晶パネルのような電気的な空間光変調器(電子ディスプレー)を記録媒体に用いてホログラフィーを実現する「電子ホログラフィー」の研究が進められている。ホログラム用の写真乾板は数千本/mmの非常に高い分解能を有するのに対して,電子ディスプレーは高分解能のものでも100本/mm程度である。このため,写真乾板と比べて,電子ディスプレーで得られる回折角は小さくなり,立体像を見ることのできる範囲(視域)が狭くなるため,両眼による立体視が困難になるという問題がある。また,物体光,共役光,透過光の進行方向の角度差も小さくなり,物体光と一緒に共役光や透過光も観察者の目に入り妨害となる。さらに,高分解能な電子ディスプレーは画面サイズが対角数インチ程度と小さいため,再生可能な立体像が小さくなるという課題もある。

これらの課題に対して,記録,再生の双方において光の広がりを制限することによって妨害光を除去する手法11),電子ディスプレーの画素構造によって発生する高次の回折光を利用して視域を拡大する手法12) などが提案されている。しかしながら,本質的な解決策は,電子ディスプレーの画素間隔を小さくして回折角を大きくすることである。

当所では,電子ディスプレーの狭画素間隔化のアプローチとして,磁性体の磁気光学効果*4 と,電流を流すことによって磁性体の磁化方向を反転できるスピン注入磁化反転技術とを組み合わせた,スピン注入型空間光変調器(スピンSLM:Spin-Spatial Light Modulator)13) を提案している。既存の液晶ディプレーの画素間隔は小さくても5µm程度で,回折角は約7度(光の波長を632.8nmとした場合)であるが,スピンSLMでは画素間隔1µm(回折角約39度)を目指している。スピンSLMについては,本特集号の解説「ホログラフィー立体表示用デバイスの研究動向」および報告「トンネル効果を利用したスピン注入型空間光変調器」で詳細を述べる。

干渉縞表示面の拡大については,電子ディスプレーをタイル状に合成するシステム14) が提案されている。このシステムでは,16枚の4K液晶パネル(サイズ:対角21.1mm)に表示された干渉縞を光学系で拡大した後に合成することで,各パネル周囲の枠の部分を除いて干渉縞だけを合成している。これにより,対角85mmの立体像表示を実現している。

電子ホログラフィーでは,電子ディスプレーに干渉縞を表示するために,干渉縞の数値データが必要となる。干渉縞データの取得法としては,電気的な撮像素子を用いて干渉縞を撮影し,干渉縞データを直接取得する手法の検討が行われている15)。この手法では,高品質な干渉縞がリアルタイムで取得できるが,暗室とレーザー光を使用するために,人物や大きな被写体の記録が困難であり,記録可能な被写体が限られる。もし,自然光の下で干渉縞データが取得できれば,レーザー光を使用することに起因する被写体への制約が軽減され,立体テレビに対するホログラフィーの適用性が高まると考えられる。このため,レーザー光を使わない干渉縞データの取得(生成)法として,被写体の奥行き情報から光の伝搬を計算することで干渉縞を生成する手法16),インテグラル方式で撮影した画像からインテグラル方式の再生をシミュレートすることで物体光を計算して干渉縞を生成する手法17) が提案されている。後者の手法を適用し,動いている被写体をリアルタイムに記録・再生できるカラー電子ホログラフィー18)19) が発表されている(6図)。このカラー電子ホログラフィーでは,干渉縞を生成する位置をレンズアレーの焦点面に限定することで,干渉縞の生成時間を短縮20) し,HD(High Definition)テレビジョンカメラで撮影した要素画像から,3種類(赤用,青用,緑用)の干渉縞を30フレーム/秒で生成する。生成された各干渉縞を別々の液晶パネルに表示して,対応する色のレーザー光を照射し,再生された物体光を合成することでカラーの立体像を動画で表示する。

6図 カラー電子ホログラフィー(参考文献19)から引用)

5.あとがき

空間像再生方式について,「インテグラル方式」と「ホログラフィー」の原理と研究動向を解説した。これらの方式は,人間の視覚機能に負担をかけず,自然な立体表示が可能とされており,不特定多数の人たちがそれぞれの環境の下で視聴する立体テレビには,適した立体方式と考えられる。

しかし,ひとつの視点から見た2次元映像を扱ってきたこれまでの映像システムと比較して,光の情報をすべて記録する空間像再生方式では情報量が膨大になる。例えば,インテグラル方式において,発生させる光線を,文献6) のシステムと同等の水平38方向,垂直38方向として,標準画質相当の解像度(800×450画素)の立体像を表示する場合を考えると,800×450×38×38の画素数,すなわち8Kスーパーハイビジョン(7,680×4,320画素)の約16倍の画素数が必要となる。さらに奥行きの深い立体像を再生するとしたら,より多くの光線を高密度で発生させなければならず,必要な画素数はさらに増大する。

空間像再生方式の実現には,この膨大な情報をいかに記録,伝送,再生するかが課題となる。記録・再生にはこれまでの映像デバイスの性能をはるかにしのぐ狭画素間隔で多画素な撮像および表示デバイスが要求されるが,所望の性能を有するデバイスの開発には時間を要する。この課題に対して,当所では,複数のデバイスを組み合わせて多画素化を図る検討7)8) や,新たな表示デバイス(スピンSLM)の開発13) によって狭画素間隔化を実現する研究を進めている。また,伝送については,立体情報を伝送可能かつ現実的な情報量に圧縮する技術の開発が必須であり,検討に着手したところである。

当所では,2030年頃の実用化を目指して立体テレビの研究を進めている。実用化に向けたシステムを検討するには,奥行き再現範囲や解像度など立体像の品質を検証することが重要である。なぜなら,立体像の品質はシステム規模や情報量などシステム設計に大きく影響するためである。そのうえで,世の中の技術動向を勘案しながらデバイス開発やシステム構築の目標を段階的に設定し,研究を進めていく。