ホーム 研究内容 ニュース 刊行物 アクセス

研究内容紹介

2.1 インテグラル立体映像技術

立体映像表示技術

 特別なめがねが不要で自然な立体映像を再生できる立体テレビの実現を目指し、空間像再生型のインテグラル立体表示方式の研究を進めている。インテグラル立体表示では、被写体の光線を再現する方式であるため、観察者の位置によらずに自然な立体映像を見ることができる。2017年度は、立体映像表示の課題である表示映像の高性能化と高画質化の研究を実施した。
 立体映像の解像度向上を目指して、複数の立体映像の画面合成技術の研究を進めている。これまでの画面合成技術では、立体映像の視域や映像結合部で映像が不連続に切り替わるなどの不自然さの課題があった。2017年度は、立体映像の合成性能の改善を目指して、有効視域角を拡大する合成光学系を提案した。提案方式では、複数のディスプレーパネルの画面中心と合成光学系のレンズ光軸をシフトした構成とすることで、有効視域角を拡大している。試作装置では、1,000ppi以上の高密度な有機ELパネル(株式会社半導体エネルギー研究所製)を用いて、従来の約3.2倍の解像度(水平311画素×垂直175画素)と水平・垂直方向ともに20.6度の視域角を実現した(図2-1)。また、装置の奥行きも従来の1/2以下に薄型化した(1)。本試作装置は、技研公開2017で展示した。
 インテグラル立体表示では,直視型ディスプレーに要素画像群を表示し、そこにレンズアレーを密着させて立体表示することで、薄型の立体表示装置が実現できる。しかし、この方式ではディスプレーのサブピクセル構造により色モアレが生じるため立体映像の画質が低下する。2017年度は、立体映像の画質向上を目指して、複数の立体映像を画面合成することで、色モアレの低減と立体映像の解像度を向上する方法を提案した。試作装置では、8K有機ELディスプレー(株式会社半導体エネルギー研究所製)にレンズアレーを密着して配置した、3台の立体表示装置を光学的に合成した(2)。各ディスプレーに生じる立体映像の色モアレを制御し、レンズアレーを構成する要素レンズをシフトして合成することで、色モアレ低減と解像度向上を両立した。本装置により、これら画質向上の効果が確認され、技研公開2017で展示を実施した。
 さらに、複数の高精細プロジェクターを使用し、立体映像の解像度の向上と視域角の拡大を同時に実現する並列投射方式の開発を進めた。本方式では、各プロジェクターを最適位置に配置し、要素画像を平行光として所定の角度でレンズアレーに重畳投射することで、立体映像の解像度特性や視域角特性を改善できる。立体表示用の小型高精細プロジェクターを開発し、立体表示光学系と映像信号再生装置を試作した。さらに、要素画像の投射位置を高精度に自動調整する技術も開発した。6台の高精細プロジェクターを用いた試作装置により、8Kディスプレー1台を使用した場合の約2倍の解像度と31.5度の水平視域角の立体表示を実現した(図2-2)(3)



図2-1 画面合成による立体映像.(a)立体映像の合成方法、(b)再生立体映像の表示例


図2-2 並列投射方式の立体表示.(a)試作表示装置(b)各視点からの再生立体映像の観察画像例

立体映像の符号化技術

 インテグラル方式に使用する要素画像の符号化技術の研究を進めている。2017年度は、インテグラル立体映像に必要な立体情報を調べるために、視点数とインテグラル立体映像の画質の関係を求めた。実験では、多視点画像から奥行き画像を生成し視点数を削減して3D-HEVC(High-Efficiency Video Coding)で符号化した。信号を復号後に、立体表示に必要な視点数を補間生成して、表示した立体映像の画質を主観評価した。静止画像による実験結果では、視点数を484視点から64視点以下へ1/5以下に削減しても、許容画質の立体映像が得られた(4)。また、2017年も引き続きMPEGの標準化活動に参加し、多視点映像の標準化活動に寄与した。


空間情報取得技術の研究

 インテグラル方式の撮影では、空間を伝搬する光線の方向や色などの情報(空間情報)を取得する必要があり、立体映像の品質を向上させるには高密度な光線の情報取得技術の研究開発が重要である。この研究課題に関して、複数のカメラで撮影された多視点映像から空間情報を取得する方式の検討を進めている。2016年度は1台のカメラを自動的に上下左右に移動させてさまざまな光線を撮影し、静止画のインテグラル立体映像を表示した。2017年度は、154台(水平14台×垂直11台)のカメラを並べたカメラアレーシステムを新たに開発し(図2-3)、空間を伝搬する光線を一度に撮影できるようにした。これにより、動いている被写体から伝搬してくる光線情報も取得可能となる。このシステムで撮影した多視点映像から光線情報を取得し、その情報を基に10万画素のインテグラル立体映像を動画で表示することで、このシステムの有効性を確認した(図2-4)(5)
 レンズアレーを用いずに空間情報を取得する方式として、多視点映像から3次元モデルを生成し、要素画像に変換する方式についても検討を進めており、技研公開2017で展示した。さらに、3次元モデルの生成では、非線形奥行き圧縮表現技術(6)に対応した新たな技術を開発した。また、多視点映像の撮影に4K解像度の多視点ロボットカメラを導入することで、より高密度に空間情報を取得し、インテグラル立体映像のさらなる品質の向上を図った。



図2-3 カメラアレーシステム


図2-4 再生されたインテグラル立体映像の観察画像例(左図:正面視点、右図:各視点)

システムパラメーターに関する研究

 2015年度より、インテグラル方式のシステム設計の指針となるシステムパラメーターの導出に向けた検討を進めている。インテグラル方式では、表示装置の画素間隔やレンズの焦点距離といった表示パラメーターで決まる奥行き再現範囲を超えると、そこに表示される立体映像の空間周波数は急激に低下する。このため、2016年度は、人間の奥行き知覚特性を利用して不自然さを感じさせずに奥行きを圧縮して表示する、奥行き圧縮表現技術を開発し、奥行きが100mを超える3次元空間を1mの奥行き範囲に収まるように奥行きを圧縮しても不自然さは許容されることがわかった。この結果を基に、2017年度は、インテグラル方式の両眼視差、運動視差に加えて空間周波数特性も再現する二眼立体表示装置を用いて、奥行き圧縮画像をインテグラル立体表示した場合の画質評価を進めた。主観評価実験では、3次元空間を1mの奥行き範囲に圧縮するインテグラル立体表示シミュレーターにより実施した。システムパラメーターの1つである、表示装置の画素間隔を変えて立体映像をシミュレートし、そのぼやけを評価することで、立体映像の空間周波数の低下を気にさせない画素間隔を導出した。

 

〔参考文献〕
(1) 岡市,渡邉,佐々木,洗井,河北,三科:“並列型インテグラル立体ディスプレーの性能改善,” 映情学年次大,34D-1(2017)
(2) H. Sasaki, N. Okaichi, H. Watanabe, M. Kano, M. Miura, M. Kawakita and T. Mishina:“Color Moiré and Resolution Analysis of Multiple Integral Three-Dimensional Displays,” IDW’17, 3D5-4L, pp.860-863(2017)
(3) H. Watanabe:“Integral 3D Display Technology,” NHK Science & Technology Research Laboratories Broadcast Technology, No.70, p.22(2017)
(4) K. Hara, H. Watanabe, M. Kano, M. Katayama, T. Fujii, M. Kawakita and T. Mishina:“Coding Performance of Integral 3D Images Using Multiview Images with Depth Map,” IDW’17, 3Dp1-14L, pp.910-911(2017)
(5) 加納,渡邉,三浦,久富,河北,三科:“インテグラル立体撮像のためのカメラアレイシステムの開発,” 信学会,D-11-5,p.5(2018)