エリア制御イメージセンサー

当所では、臨場感・没入感の高い映像を撮影する次世代イメージング技術の研究開発を進めています。この連載では、ゆがみの少ない360度映像や高精細な3次元映像を撮影できるカメラの実現に向けた、最新の材料・加工技術や回路技術を適用したイメージセンサーと、特殊な光学系と計算機処理を組み合わせた撮像システムの研究開発を紹介します。

360度映像などの広視野映像には、さまざまな動きや明るさ、細かいパターンを持つ被写体が同一画面内に存在します。そのため、高品質な広視野映像の取得には、高い解像度・フレームレート^＊1・ダイナミックレンジ^＊2で動作するイメージセンサーが必要です。しかし、イメージセンサーの画素信号読み出し回路の動作速度の制約などから、その実現は容易ではありません。そこで、撮影シーンを瞬時に解析する“シーン情報解析技術”と、解析結果に基づいてイメージセンサーのエリアごとに撮像条件を制御することが可能な“エリア制御イメージセンサー”を用いたシーン適応型イメージング技術の開発を進めています（図１）。

シーン適応型イメージング技術では、例えば、細かいパターンを持つ被写体は高解像度・基準フレームレート（基本モード）で撮影し、動きの速い被写体は解像度を1/2倍に低下させる代わりにフレームレートを4倍（高速モード）にして撮影します。また、明るい被写体は電子シャッター^＊3をON（高輝度モード）とし、暗い被写体はフレームレートを1/2倍（低照度モード）にして撮影することで、最適な露光時間に調整します。これにより、画素信号読み出し回路の動作速度の制約の範囲で、シーンに応じてイメージセンサーの撮像性能を割り当てることができ、主観的な画質の向上が期待できます。

今回、画面（有効画素領域）を225分割した小領域（制御ブロック）ごとに、異なる撮像モードを設定可能な960×960画素のエリア制御イメージセンサーを試作しました。従来法との比較のため、全ブロックを基本モードで撮像した場合（従来法）と、被写体の特徴に合わせて制御ブロックごとに撮像モードを切り替えた場合（提案法）の取得映像を比較しました（図2）。従来法では、回転する被写体（図２(a)）で文字の動きぼやけが、高輝度な被写体（図２(b)）や低照度な被写体（図２(c)）ではハイライト^＊4部や暗部の階調つぶれがそれぞれ見られましたが、提案法ではそれらが改善されることを確認しました（図２(a’)～(c’)）。

今後はイメージセンサーを多画素化し、実用的な解像度の映像取得ができるシーン適応型イメージング技術の開発を進めます。