適応型奥行き圧縮による3D像の品質改善

空間像再生型３次元（3D）ディスプレーは、特別なメガネを必要とせず、裸眼で3D像を再現できる3Dディスプレーの一つであるが、高品質に再現できる奥行き情報に限りがあるため、特に奥行きが深いシーンの表示に課題があった。奥行き圧縮は、表示する3Dシーン・モデルに対して人の奥行き知覚特性を考慮した特殊な変形により、見た目の不自然さを感じさせずに、シーン全体を狭い奥行き範囲内に収める技術である。これにより、空間像再生型3Dディスプレーの奥行き再現能力を仮想的に強化し、深い奥行きを持つさまざまなシーンの高品質な表示を可能とした。本報告では、さらに本技術を拡張した、適応型奥行き圧縮について述べる。適応型奥行き圧縮は、奥行き圧縮の従来の特徴を維持しながら、特定の物体の奥行き感を強調したいなどの映像制作者の要望に応えることを可能とする。具体的には、主要な被写体が移動するアニメーションを含む3Dシーンにおいても、特定の被写体に十分な奥行き量を常時配分することを可能とする。主観評価実験を通し、従来の方法よりも強い奥行き表現が提供できること、より好ましい3D映像表現が提供できることが分かった。これらの結果は、提案法が将来の3Dテレビメディアとして、空間像再生型3Dディスプレーの可用性を高めるものといえる。

１．はじめに

３次元（3D）テレビは、将来の放送サービスを担うメディアの候補の一つである。インテグラル方式やライトフィールド方式と呼ばれる空間像再生型3Dディスプレーは、その場に物体がある状況と同様の光線空間を再現することができる^{1） 2） 3）}。本方式は、特別なメガネを必要としないため、現在の日常的なテレビ視聴と同様のスタイルを変更することなく、3Dならではの高い実在感と臨場感の提供が期待できる。

しかし、現在のライトフィールド技術は、ディスプレーを構成するデバイスの光学的・物理的な制約により、高品質に表示できる3Dシーンの種類に限りがある。具体的には、最新の技術を用いても、ディスプレーが高品質に像再生できる奥行き範囲はたかだか数10cm程度に限られているため、それを超える奥行きを持つシーンは品質を落とすことなく像再生することが困難である^4）。したがって、私たちが日常的に視聴しているテレビで見るような奥行きの深いシーン（風景やスポーツなど）は、まだ十分な品質で表示することが困難な状況といえる。

奥行き圧縮は、ディスプレーの奥行き再現能力を超えてより深い奥行きのあるさまざまな3Dシーンの高品質な表示を実現する技術である^{5） 6） 7） 8）}。本技術は、3Dシーンのジオメトリー（Geometry：幾何情報）が既知であることを前提とし、ある関数に従ってシーン内のすべてのオブジェクトの形状や配置を操作することで、ディスプレーが十分な奥行き再現能力を持つ狭い奥行き範囲の中にシーン全体を収める^{2） 9） 10） 11）}。この幾何学的な操作の方法は、観察者が再生像に不自然な歪ひずみを感じないような設計であることが特徴である。これまでの研究^{5） 6） 7） 8）}では、元は奥行きが100 m以上あるシーンを、不自然な歪みを感じさせずに奥行き10～100 cm程度（ディスプレーのサイズに依存）にまで圧縮可能であることが示されている。

奥行き圧縮は、人の視覚特性を考慮しながら、3Dシーン内のすべてのオブジェクトに対して不自然さを感じさせない幾何学的な操作を行なう。人の3D空間知覚は、さまざまな感覚情報による手がかりの統合に基づくといわれている^{12） 13） 14）}。この際、複数の手がかりの間に矛盾があっても、事前知識に基づき、3D形状としてもっともらしい解釈をもたらすことが知られている。奥行き圧縮は、この人の3D空間認識の柔軟性を積極的に利用する。空間知覚は、主に生理的手がかり（両眼視差、輻輳ふくそう^＊1・調節^＊2）と絵画的手がかり（重なり、大きさ、陰影、きめの勾配など）をもとに行われている（1図）^＊3。幾何学的な操作の際に、これらの手がかりのいくつかを維持できれば、総合的な空間知覚への影響の抑制が期待できる。実際、観察者の視点位置を限定できれば、パースペクティブ（Perspective：遠近法）を維持した幾何学的な操作によって、絵画的手がかりについては完全に保存することができる。　

奥行き圧縮における3Dシーンの幾何学的な操作は、ディスプレーが持つ奥行き資源をシーンのどの位置に配分するかの決定と等価である。すなわち、奥行き方向に押しつぶす（圧縮する）変形を加えることは、その箇所への奥行き配分を減少させることに相当する。これまでの研究は、奥行き弁別特性の距離依存性（距離が近いときには感度が高く、遠いときには感度が低い）^{15） 16）}に基づき、奥行き資源をシーンの手前には多く、遠くには少なく配分する方式を採用することで、物理的には狭い奥行きで、主観的に深い奥行きの提示に成功している^{5） 6） 7） 8）}。

しかしながら、この奥行き資源の配分方法は、常に最適であるとは限らない。例えば、特定のオブジェクトに対して、奥行き位置にかかわらず常に十分な量の奥行き資源を配分したいという特別な表現意図がある場合は、従来の奥行き圧縮ではその要望に応えることができない。従来型では、奥行き資源をオブジェクトではなく、シーン内の場所に対して配分していたため、このような要望に応えることができなかった。

本報告では、従来手法と同様、高品質な3D像再生を行いながら映像制作者の演出上の要望にも応えることのできる、新しい奥行き圧縮方法を提案する（２図）^＊4。２図右の提案法では、ディスプレーの奥行き資源を、演出上重要でないオブジェクトに対しては配分を抑え、強調したいオブジェクトに対して重点的に配分することを可能とする。一方、観察者に画面全体を見せる意図があれば、シーン内のオブジェクトに均等に奥行き資源を割り振ることも可能である。この奥行き資源の配分決定は、２次元画像の撮影における被写界深度の調整による表現の選択（背景をぼかす、パンフォーカス^＊5 にするなど）に類似した操作といえよう。提案法は、3Dディスプレーで深い奥行きを高品質に再生するための技術としてだけではなく、制作者の意図を3D像に的確に反映するための表現技法とみることもできる。

表現意図を考慮した奥行き圧縮表現は、3Dディスプレーの性能と画質の制約下で、表現意図を最大限反映する、制約付き最適化問題の解とみることができる。すなわち、奥行き圧縮表現の決定は、奥行き配分ルールを定めた“奥行き圧縮関数”の形状を決める最適なパラメーター値の探索に相当する。従来研究 ^{5） 6） 7） 8）}では、奥行き圧縮関数として、指数関数的な単調飽和曲線であるシグモイド関数（Sigmoid Function）を用いていたが、本手法では、複数のシグモイド関数の線形和として奥行き圧縮関数を再定義する。多くのパラメーターで定義される複雑な形状を持つ曲線となるが、映像制作者の意図する多様な要望に応えることができる。これらのパラメーターは、シーン内のオブジェクト移動などに対応するため、フレームごとに最適解を高速に算出する必要がある。

本報告では、奥行き圧縮像に映像制作者の意図を反映することができる、適応型奥行き圧縮を提案し、その実装と評価について述べる。客観評価では、選択したオブジェクトに対して、従来手法以上に多くの奥行き資源を配分できることを示す。主観評価では、提案法で生成した3D像が、従来型よりも深い奥行き感と、より好ましい表現を提供できることを示す。以上から、適応型奥行き圧縮が、空間像再生型3Dディスプレーの3D表現能力を拡張し、将来の3Dメディアの実現に寄与しうることを示す。

２．関連研究

奥行き手がかりを個別に操作することで、空間像再生型3Dディスプレーの奥行き再現能力に関連する課題へ対処する試みは、これまでもいくつか提案がなされている^{2） 9） 10） 11）}。また、奥行き手がかりの操作は、ステレオ（２眼立体）映像の制作において、輻輳ふくそうと調節の不一致^＊6 によって生じる不快感を考慮しながら、立体感や臨場感を演出する目的で、現在も広く用いられている^{17） 18） 19）}。ここでは、奥行き圧縮表現に関連する従来型について概説し、適応型奥行き圧縮と従来技術との差異とその評価方法について述べる。

ステレオ映像の視差量の決定方法として、Langらは、視覚的な顕著性に基づき、視差量を自動調整する視差量再配分関数を導入し、コンテンツの内容に合わせて視覚像を調整する概念を提案した^20）。視差量再配分関数の設計は、奥行き知覚量と視覚的不快感の抑制に顕著な影響を与えることが示されている^{17） 18） 19）}。空間像再生型ディスプレーを対象としたものでは、Zwickerらの、ライトフィールド測定系における、カメラ配置の最適化の研究がある^10）。このカメラ群の配置の決定は、光線を密に計測する空間内の箇所を決定することに相当する。これは、ディスプレーの奥行き資源を、空間内のどの位置に配分するかを決める関数の設計と本質的には等価な操作である。Masiaらは、奥行き手がかりの操作を、人の知覚に基づく多目的最適化問題として扱うフレームワークを提案している^21）。人が感じる奥行き感をなるべく維持するとともに、3D像の画質劣化を最小限に抑えるという目的関数のもと、奥行き手がかりの最適操作方法を決定した。ただし、目的関数として制作者の表現意図を明示的に扱う枠組みとはなっていない。

これまでの奥行き操作手法は、無限遠を含む任意の深さの奥行きがあるシーンを想定する必要がある３次元テレビサービスでの利用には、必ずしも適当であるとは言えない。前述の研究における奥行き操作のアプリケーションは、操作量としては小さな範囲に抑えられている。例えば、映画館のような大画面を想定して制作されたステレオ映像を、スマートフォンのような小画面での表示に適した形式に変換する、コンテンツリターゲッティング（Content Retargeting）という技術がある^{21） 22） 23）}。ステレオ映像では、映画館などの大画面用に最適化された映像を、スマートフォンなどの小画面ディスプレーに表示しても、ステレオ効果が大きく異なる。そのため、画面サイズが変わっても、視聴者が感じる効果を同様に提供するために、奥行き手がかりの調整が行われる。ここで、コンテンツリターゲッティングで想定される奥行き手がかりの操作量は、将来のテレビサービスとして要求されるものに比べて、非常に小さなものである。テレビサービスでは、任意の深い奥行きを持つシーンの表示を想定する必要がある。すなわち、無限遠を含む深い奥行きを、数メートル以下の狭い範囲にまで圧縮することが要求される。一般に、奥行き手がかりの操作量が大きければ大きいほど、観察者が感じる不自然さが強まる。したがって、狭い奥行き範囲での操作が前提である従来の奥行き操作手法を、３次元テレビサービスが想定するコンテンツにそのまま利用することは難しい。

奥行き手がかりの操作がもたらす効果の測定は、客観的手法と主観的手法の両方が用いられている^{21） 22） 23） 24） 25） 26）}。奥行き手がかりの操作によって生じるぼやけやアーチファクト（ノイズ）は、画像類似度の指標であるSSIM（Structural Similarity Index Measure）^27）や元画像との差異を平均二乗誤差^＊7で測るなどの客観指標で評価されることがある。一方で、奥行き感や3D表現の好ましさは、これらの客観指標で捉えることは難しい。３次元像の効果の評価は、主観的な印象を尋ねることによる評価が主流である^28）。

しかし、立体感や臨場感などのような高次なコンセプトに基づく主観評価は、評定者の個人的な好みや経験などにも依存することが想定されるため、精度の高い評価の実現には、適正な実験設計が求められる。このような課題に対し、Leeらは主観評価では、絶対評価よりも一対比較の手法^＊8 の方が、安定的で信頼性の高い結果が得られることを、計算モデルによるシミュレーションによって示している^{29） 30）}。本報告における実験においても、適応型奥行き圧縮が与える3D表現の奥行き感と好ましさの効果を一対比較によって評価した。

３．奥行き圧縮表現技術

３．１　適応型奥行き圧縮

奥行き圧縮は、3Dシーン内のジオメトリーを修正し、シーン全体をより狭い奥行き範囲内に収める技術である。この際、3Dシーンは、3Dデータとして表現されていることが前提である。ディスプレーを観察する人からは、その不自然な変形が感じられないように奥行き情報を削減し、ディスプレーの奥行き再現能力の範囲内に収めることで、再生像の主観品質向上を実現する^{5） 6） 7） 8）}。

オブジェクト形状の修正は、奥行き情報の再配置ルールを定める“奥行き圧縮関数”に基づき、3Dモデルの頂点座標を移動することで行う。すなわち、奥行き圧縮関数は、ディスプレー面に垂直な方向をz軸としたとき、頂点のz座標値を別のz座標値にマッピング（写像）する関数である。従来型での奥行き圧縮関数は、観察者に近い奥行き位置ではマッピングによる移動量が少ないが、遠い位置になるほど移動量が多く、ある奥行き位置に漸近する非線形曲線として定義していた。この奥行き圧縮関数では、観察者の近くに配置されているオブジェクトはほとんど変形しないのに対し、遠くに配置されているオブジェクトは板状に変形することになる。すなわち、従来型におけるオブジェクトの変形量（圧縮率）は、観視位置からの相対的な位置で決めていた。

本報告で提案する奥行き圧縮関数は、従来のものを拡張したものである。具体的には、従来型で単一のシグモイド関数によって定義していた奥行き圧縮関数を、提案法では式（2）に示すように、複数のシグモイド関数の重み付き線形和として定義する。ここで、p＝（x, y, z）を空間内の任意の頂点座標位置とし、観察者が原点p＝（0, 0, 0）に配置されていたとすると、奥行き圧縮関数によってマッピングされた頂点座標p′は次のように書ける。

ここで、a_i, b_i, c, d_i, D_z （0 ≤ i ≤ N）は、奥行き圧縮関数のパラメーターのセットである。a_iは、z=b_iにおけるf（z）の傾きを調整するパラメーターである。z=b_iは、i番目として選択したオブジェクトの奥行き位置を表す。なお、f（z）の傾きは、その奥行き位置における奥行き圧縮の程度を表す。傾きが１のときは、zの位置にあるオブジェクトの形状に歪ひずみは生じない（スケーリング以外のジオメトリーは保存される）ことを意味する。傾きが０のときは、最も強い圧縮となり、オブジェクトは板状に圧縮されることに相当する。d_iはオブジェクトi に配分する奥行き量の割合であり、 Σi=0Nd_i = 1, d_i > 0 を満たす。D_zはディスプレーが再現する奥行き範囲（奥行き資源）によって決まる値である。N は奥行き配分を受ける可能性のあるオブジェクト数を表す。ここでN =0のときは、従来型による奥行き圧縮と等価となる。したがって、式（1）と（2）は、z = b₀, …, b_Nの奥行き位置に対して、a₀,…, a_Nとd₀, …, d_Nで記述される奥行き量を配分する操作を行っている。ここで切片項cは、修正後の座標位置を奥行き方向に調整するためのパラメーターである。

奥行き圧縮関数（式（1）と（2））は、3Dディスプレー正面からの見えをできる限り維持しながら、シーンのジオメトリーを修正する。実際、奥行き圧縮の原点で観察者が単眼視した際には、像の見えを奥行き圧縮前後で完全に一致させることができる。式（1）において奥行き位置の更新を補償する x－y 座標値の修正によって、絵画的手がかりが維持されているためである。しかし、一般には観察者は両眼視をするため、奥行き圧縮の原点から像を観察することはできない。提案法では、観察者の観察位置を常時計測し、両眼の中心を奥行き圧縮の原点とする、「動的」奥行き圧縮を用いる^{7） 8）}。本手法でも、両眼視によって、観察者がオブジェクト形状の変形を知覚する手がかりは残されている。しかし、奥行き圧縮の原点を常時更新し、その位置が両眼の中心となるように設定することによって、視点位置の移動があっても、不自然な変形による主観画質の低下を最小限に抑えることができる。

奥行き圧縮関数のパラメーター値は、ディスプレーに表示される3Dコンテンツの表現を決定する。例えば、制作者がオブジェクトjを強調して表現したいとする。これは、そのオブジェクトの奥行き位置 z = b_jに多くの奥行き量を配分することで実現できる。すなわち、a_jを１に近い値とし、奥行き配分割合を決めるd_jを、他のオブジェクト（d_i≠j）よりも大きくすればよい。しかし、このパラメーター値をそのまま採用することは、特にディスプレーの奥行き再現能力に強い制限があるときや、オブジェクトが移動する動的コンテンツが表示対象である場合、不自然な変形による主観画質の低下につながる。コンテンツの移動に合わせて、表現意図と画質からなる複数の基準を満足できるようにパラメーター値をリアルタイムに更新する必要がある。

３．２　奥行き圧縮関数の最適化

ディスプレーの奥行き再現能力の制約のもと、適正な画質で意図する奥行き表現を実現する、奥行き圧縮関数のパラメーターセットを見つける手続きは、制約付き最適化問題とみなせる。ここでは、本問題を次のように定式化する。奥行き圧縮関数のパラメーターのセットをθ＝（a₀, …, a_N, b₀, …, b_N, d₀, …, d_N）として記述する。このとき、最適解θˆは、

となる。ここでθ_pは、映像制作者の表現意図に対応するパラメーターセットである。式（3）の最適解はθˆ=θ_pであるが、実際には画質とディスプレーの奥行き再現能力の制約のもと導出されるためθˆ≠θ_pとなる。画質に基づく制約条件として、奥行き圧縮関数の傾きは任意のzにおいて１を超えないこととした。すなわち、

をすべてのzで満たす。ここで式（5）は、公式 (tanh (z))^′ = 1 – tanh² (z) に基づく。本制約による効果は３図^＊9 に例示される。ディスプレーの奥行き再現能力（解像度高く像再生ができる奥行き範囲）を変数Dで表現する。b₀を3Dシーン内の奥行き圧縮前のある奥行き位置とする（３図(a)）。奥行き圧縮後の奥行き位置は、f（b₀）であらわされる。ここで、f（b₀）は、ディスプレーが再現できる奥行き範囲の最前面とする。元シーンにおける無限遠は、奥行き圧縮後にはf（z）|_z→∞と表現できるため、Dは、次のように表せる。

これにより、すべての頂点座標は、式（6）の範囲の中に収まることになる。

実際には、制作者の表現意図、およびコンテンツは動的に変化すると想定されるので、最適なパラメーター値のセットは、コンテンツの進行に合わせて常に更新し続ける必要がある。しかしながら、非線形関数と不等式を含む制約式のもとで最適解を得るには、反復計算による数値探索が必要となる。さらに、この数値探索計算は、フレーム内で処理を完了する必要があるため、高速に行う必要がある。そこで、本研究では、高速な収束を期待したヒューリスティックな探索手法（Heuristic Search）^＊10 を導入する。ここでは、数値探索の初期パラメーターをθ=θ_p、D_z=Dとして探索を行い、表現意図θ_p近傍の局所解を最適解とした。

表現意図の入力では、対象オブジェクトの選択や奥行き量の指定が必要である。ここでは、音声ミキサーを流用し、複数のスライダーからなるインターフェースを用いた。表現意図に関連するパラメーターセットθ_pを構成する多数のパラメーター値は、スライダーを操作することによって、リアルタイムに調整が可能である。なお、パラメーターセット中の、奥行きを配分する奥行き位置を指定するパラメーター（b_i）は、あるオブジェクトに奥行きを配分し続けたい場合には、オブジェクトの移動に追従して値を更新する必要がある。手作業でパラメーター値を更新し続けることは通常困難であるため、対象オブジェクトを指定して、オブジェクトの位置を追跡し、自動的にb_iを更新する機能も実装した。これにより、アニメーションが含まれるシーンであっても、簡単に奥行きを配分し続けることができる。

４．評価実験

適応型奥行き圧縮は、空間像再生型3Dディスプレーの限られた奥行き資源を効果的に配分する方法を提供する。提案法の効果を示すために、客観評価および主観評価を行った。

４．１　客観評価

（１）刺激

ジャグリングとダンスシーンで構成される3DCGアニメーションを用いた。いずれもジャグラーとダンサーの動きをモーションキャプチャーで測定した動きを、CGアバターに適用し制作したものである。ジャグリングシーンは、公園内の野外ステージでジャグラーがクラブジャグリングをするものである。ダンスシーンは、３人のダンサーが同じ野外ステージでチームダンスを披露するものである。両シーンとも、CGアバターが奥行き方向に移動を繰り返すことが特徴（５．１節参照）である。

（２）奥行き圧縮パラメーター

それぞれのシーンで主な被写体（ジャグラーと２本のクラブ、３人のダンサー）を選択し、それぞれに均等に奥行き配分を行うこととした。公園の樹木やベンチなどの背景オブジェクトは、明示的に選択されていないため、奥行き配分の優先度は低く設定されたことになる。

異なる奥行き再現能力を持つディスプレーでの奥行き圧縮の効果を比較するために、ディスプレーの奥行き再現能力として、D = 0.5, 1.0, 2.0 mの３つの奥行き範囲を設定した。これらの値は、事前の実験に基づいて決定したものである。

従来型の奥行き圧縮は、適応型奥行き圧縮の特別なパラメーター設定に対応する。ここでは、式（2）においてN = 0、a₀=1、 d₀=1とし、b₀は、ディスプレーが再現する奥行き範囲の最前面とすることで従来型相当の奥行き圧縮を行った。

適応型奥行き圧縮では a_i=1, d_i=1/4 （i ∈ 0, …, N（N = 3））とし、b_iはそれぞれ選択したオブジェクトの奥行き位置とした。また、b₀は従来型奥行き圧縮と同じ値とした。これらのパラメーター設定は、ディスプレーの奥行き資源を、３つの選択オブジェクトに均等に割り振るという設定である。

（３）装置

十分なCGレンダリング性能を備えたワークステーション（Intel Xeon Gold 6152、GeForce RTX）を用いて、奥行き圧縮像を生成した。ソフトウェアはUnityを用いて作成した。客観評価はレンダリングソフトウェア内ですべて完了する。

（４）分析方法

奥行き圧縮の性能を測る指標として、“奥行き圧縮係数”を定義した。奥行き圧縮係数は、奥行き圧縮前のオブジェクトの奥行き量（厚み）と、奥行き圧縮後の奥行き量の比である。強く奥行き圧縮を行った場合は、奥行き圧縮係数の値は小さく、元の奥行きが維持されている場合は、１の値をとる。ここでは、選択オブジェクトの奥行き圧縮係数をそれぞれ計算し、それぞれのディスプレー設定Dの元でその効果を比較する。

４．２　主観評価

奥行き圧縮表現の主観評価は、奥行き感の評価と、3D表現の好ましさに関する評価の２種類に着目した。奥行き感の評価は、２つの評価映像のうち、どちらにより強い奥行き感を感じたかを尋ねるものである。3D表現の好ましさの評価は、実験参加者個人にとって、どちらが好きな表現であったかを答えるものである。

（１）刺激

奥行き感の評価においては、12種の静止した3Dシーンを用いた。これらは、ジャグリングとダンスの映像から均等の時間間隔で抽出した６つのスナップショットである。これらのシーンは、D=0.5, 1.0, 2.0 mの３つの奥行き範囲に収まるように奥行き圧縮を適用して表示した。したがって、実験参加者は、72種類の刺激（＝12シーン×３種の奥行き範囲×２種類の奥行き圧縮法）を観察した。

3D表現の好ましさの評価では、２つの映像の初めの６秒間を評価映像として用いた。毎秒60フレームで提示した。実験参加者は、12種類の刺激（＝２シーン×３種類の奥行き範囲×２種類の奥行き圧縮法）を観察した。

（２）奥行き圧縮パラメーター

客観評価実験で用いたものと同じ値を設定した。

（３）実験参加者

20歳から39歳までの正常な視力を持つ男女８名ずつ、合計16名が参加した。すべての参加者が、実験参加の同意書に署名した。本実験は、当所の心理・生理実験審査委員会で承認されたものである。

（４）実験装置

奥行き圧縮を適用した3D像をぼやけによる干渉無く評価するために、両眼視差と運動視差をシミュレートした空間像再生型3Dディスプレーのシミュレーターを用いて実験を行った（４図）。本シミュレーターは、偏光メガネ方式の55インチステレオディスプレー（LG製55UF9500）と光学式のモーショントラッカー（OptiTrack）を組み合わせて、空間像再生型3Dディスプレーの主要な特徴である両眼視差と運動視差を提示した。本実験装置は、空間像再生型3Dディスプレーが提示できる調節手がかりを提示することができないが、奥行き圧縮による3D像の変形に起因する効果の評価には大きな影響はないとして、従来研究 ^{5） 6） 7） 8）}における利用実績がある。実験参加者は、ゲームパッド（Xbox360コントローラー）を用いて評価を入力した。

（５）実験手順

奥行き感の評価では、２つの提示刺激のうち、より奥行き感を感じた方を答える。実験参加者は、１セッションあたり６回の試行から成るセッションを、合計12セッション行った。各試行では、２つの異なる奥行き圧縮方法によって生成された刺激が、時系列的に２回ずつ、それぞれ６秒表示された（５図）。具体的には、２つの刺激提示期間をＡとＢとすると、ＡとＢそれぞれに対する６秒間の提示期間が、Ａ、Ｂ、Ａ、Ｂの順番で、グレー画像の２秒間のインターバルを挟んで表示された。実験参加者は、刺激を観察したあとに手元のゲームパッドで、ＡもしくはＢのどちらが奥行き感を感じたかを応答した。実験参加者は、ティスプレーから1.5H（画面高の1.5倍＝1.04 m）の離れた位置に設置した椅子に座って映像を観察した。椅子から離れない範囲で、自由な視点移動を許容した。

3D表現の好ましさの評価では、アニメーション刺激を用いた。手順は奥行き感の評価と同様で、刺激選択の判断基準が、どちらが好きな表現であるかとするように教示した。参加者は、６試行からなるセッションを２セッション行った。

いずれの評価においても、順序効果を考慮するため、全試行のうち半数は、その半数の逆順で提示した。具体的には、ある試行において刺激提示区間Ａで表示された刺激は、別の試行においては刺激区間Ｂで提示された。したがって、実験参加者は、奥行き感評価を72試行（＝12シーン×３種の奥行き範囲×２種の提示順）を12セッションに分けて実施し、3D表現の好ましさ評価を、12試行（＝２シーン×３種の奥行き範囲×２種の提示順）を２セッションに分けて実施した。各試行の提示順は、実験参加者ごとにランダマイズした。

（６）分析方法

従来型と適応型奥行き圧縮で生成した3D像を評価し、どちらを選択したのかのデータを収集した。各参加者は、同じ組み合わせとなる条件を２回（正順と逆順）評価しており、各刺激条件を最大２回選択する可能性がある。したがって、16名の参加者からデータを収集し、すべてのデータを集計すると、従来型と適応型奥行き圧縮のそれぞれは、各条件で最大32回選択される。

参加者らの応答は各条件において二項検定^＊11 によって評価した。もし、それぞれの奥行き圧縮の効果に差がない（帰無仮説が真）とすると、参加者らの応答は32回中平均16回選択されることになる。したがって、もし一方の奥行き圧縮法による3D像が、16回よりも有意に多く選択される場合は、その奥行き圧縮法に顕著な効果があるということができる。

多重比較 ^31）による第一種の過誤の上昇を考慮するため、本分析では、二項検定によって取得するp値^＊12 を、ボンフェローニ法^＊13 を用いて補正した。多重比較の回数は、奥行き感評価においては18回（＝１シーン×６時点×３種の奥行き範囲）、3D表現の好ましさ評価においては３回（＝１シーン×３種の奥行き範囲）であった。有意水準^＊14 は５％と設定した。

５．結果

５．１　客観評価

６図に各シーンにおいて選択したオブジェクトの奥行き位置と奥行き圧縮係数の時間変化を示す。選択オブジェクトは、ジャグリングシーンにおいては、シーン内の約１mの奥行き範囲（６図(a)）を、ダンスシーンにおいては、2.4 mの奥行き範囲（６図(d)）を移動していることが読み取れる。いずれのシーンにおいても、適応型奥行き圧縮の方が、ほぼすべての期間において、奥行き圧縮係数を高く提示できている。これは、オブジェクトが移動する範囲が、ディスプレーの奥行き再現範囲Dを大きく超えるような状況でも同様であった。具体的には、奥行き再現範囲がD=0.5 mであっても、奥行き圧縮係数は常に0.6以上を保持し続けることができた。同様に、D=1.0, 2.0 mの条件でも、奥行き圧縮係数は１に近い値を保持することが確認できる（６図(c)(f)）。

一方、従来型における奥行き圧縮係数は、オブジェクトの移動の影響を強く受ける傾向がある（６図(b)(e)）。特に奥行き再現範囲が狭いD=0.5 mのときに顕著であり、ジャグリングシーンでは特に奥行き圧縮係数が０から１の間で大きく変動した。Dがより大きな場合は奥行き圧縮係数の値の変動幅は緩和されるが、それでも、適応型よりもオブジェクト移動の影響を受けやすいことは同様であった。

７図に、D=0.5 mとD=2.0 mのときの奥行き圧縮像の見えの例を示す。法線マップは、オブジェクト表面の法線ベクトルの方向を色で符号化したものであり、青、赤、緑、黒は、それぞれディスプレー面に直交する方向、観察者向かって左方向、同右方向、上空方向を表す。強い奥行き圧縮がかかっている箇所は、板状に圧縮されているため、法線方向はディスプレー面に直交する方向（青色）となる。従来型による奥行き圧縮は、適応型に比べて青色の領域が広い傾向があり、特に７図（h）左に示したD=0.5 mのダンスシーンでは、法線マップ上ほとんどの領域が青く染まっている。これは、ダンサーが完全に板状にまで奥行きを圧縮されて背景に埋もれていることを示す。それに対して、７図（h）右に示すように、適応型では青以外の色が依然として観察でき、ダンサーの奥行きが維持されていることを示す。D= 2.0 mの場合においては、従来型、適応型の両方とも、６図（b）（c）（e）（f）における奥行き圧縮係数が非ゼロの値をとっていることから予測されるように、法線マップ上では青以外の色が観察できる。

５．２　主観評価

８図に、従来型と適応型奥行き圧縮によって生成された複数の3D像（静止画）のうち、どちらが強い奥行き感を引き起こしたのかを集計した結果を示す。24回以上の選択で帰無仮説は棄却（二項検定、多重比較の補正済み）され、適応型の手法が有意に強い奥行き感を提示できることを示している。ほとんどの場合で適応型奥行き圧縮が、従来型よりも強い奥行き感が提供できることが示された。ただし、D=2.0 mで t₂ および t₃時点の3D像に対しては、帰無仮説は棄却されず、適応型と従来型が奥行き感に与える効果は同程度と考えるのが妥当となった。

９図に、従来型と適応型奥行き圧縮によって生成された3D映像に対して、より好ましい（好きな）表現かの選択の集計結果を示す。この3D表現の好ましさ評価においては、22回以上の選択で帰無仮説が棄却（二項検定、多重比較の補正済み）され、その手法が有意に好ましい表現を提供できることを示す。D=0.5 mにおいて、適応型奥行き圧縮は、どちらのシーンでも、従来型よりも有意に好ましい3D表現を提供できることが示された。しかしながら、D=1.0 mと2.0 mにおいては、適応型奥行き圧縮が有意に好ましいといえるのはダンスシーンだけであった。

６．考察

本報告では、客観・主観両面からの評価実験を通し、適応型奥行き圧縮によって、ディスプレーの奥行き資源を特定のオブジェクトに配分でき、それによってより強い奥行き感と好ましい3D表現を提供できることを示した。さらに、奥行き感に関する主観評価では、適応型奥行き圧縮は、ディスプレーが十分な奥行き再現能力を持つ場合には、表示シーンの内容によっては従来型とその効果に差がみられないこともあるが、再現能力が不十分な場合（Dが小さい場合）は、常に強い奥行き感を提示できることも分かった。この傾向は、3D表現の好ましさの評価においても同様に見られた。これらの結果は、適応型奥行き圧縮は、従来型と比較して常に同等以上の体験を提供できることを示している。以上より、適応型奥行き圧縮は、奥行き再現能力が限られた環境においては、映像制作者の意図を適切に3D像に反映する方法として有効であり、自由度の高い3Dコンテンツ制作の実現に貢献できることを示している。

従来の奥行き圧縮では、観察者が感じる主観的な品質に基づいて3D像の最適化を行っている^21）。本報告で提案した適応型奥行き圧縮も、3D像の表現を最適化する点では従来型と同様である。しかし、適応型奥行き圧縮と従来型との大きな違いは、映像制作者の表現の意図も最適化の対象としていることである。一般に、表現と意図は一体の関係にある。空間像再生型3Dディスプレーが将来のメディアとして利用されるためには、表現の自由度を高めることが重要であろう。本報告における実験結果は、適応型奥行き圧縮が、空間像再生型における自由度の高い3D映像制作を実現する手段の一つであることを示している。

適応型奥行き圧縮により良い主観品質を提供できることが示された（８、９図）。この結果は、奥行き圧縮係数に基づく客観評価の結果（７図）からも説明可能である。特に、適応型奥行き圧縮の効果は、ディスプレーの奥行き再現能力Dが小さい場合に顕著に表れた。また、奥行き再現能力Dが小さい場合には、従来型では奥行き圧縮係数が極端に小さくなることがあった。一方、ディスプレーの奥行き再現能力が十分である（Dが大きい）場合には、従来型でも奥行き圧縮係数を高く保つことができたため、従来型でもある程度の奥行き感が得られたと考えられる。

注目するオブジェクトの奥行き圧縮係数の値が高い（配分する奥行き量が多い）と、主観品質が向上する。しかしながら、それ以外のオブジェクトの奥行き圧縮係数は低く抑えられる（奥行きが配分されない）。この複雑な奥行き配分によって、シーンのジオメトリーも複雑な歪ひずみが生じる。したがって、奥行き圧縮は主観品質の向上をもたらすのではなく、むしろ主観品質の大きな低下をもたらす可能性もある。それにも関わらず、今回の実験結果は、適応型奥行き圧縮が明らかに主観品質を向上させることを示している。これには２つの理由が考えられる。

１つ目は、発生した歪みに関する視覚的手がかりが両眼視差と運動視差から知覚できるほど強く無かったことである。実際、目の位置をトラッキングすることで、奥行き圧縮の原点位置は、常に眼間に固定されていた。3D像の歪みを知覚できる手がかりは、左右眼の網膜に映る画像のわずかな差異だけであった^7）。

２つ目は、観察者が主要な被写体（奥行き配分の対象として選択されたオブジェクト）に対して注意を向け、それ以外の被写体（奥行きが配分されないオブジェクト）にはあまり注意を向けていないためである。視覚的注意は、視覚経験におけるフィルターのような働きをすると理解されており^32）、たとえ網膜に像が確実に映っていたとしても、注意を向けていないオブジェクトは意識的に処理されないことが知られている。適応型奥行き圧縮におけるパラメーター設定は、主要な被写体群のみに設定されていたため、観察者の注意はそれらに対してのみが向いていて、奥行きが配分されている領域とそうでない領域の境界に生じる不自然さに気づくことがなかったと考えられる。奥行き配分法の適正な設計が、３次元撮影技法の重要な要素になることを示唆している。

3D表現の好ましさに関する評価について、従来型奥行き圧縮の方がより好ましいと選択する場合がいくつか観測された。この場合での奥行き感に関する評価は、適応型の方が強いと選択されている。この結果は、強い奥行き感が、必ずしもより好ましい表現であることにつながらないことを示す。また、奥行き感評価は静止画を、好ましさ評価はアニメーションを用いている。静止画を用いた評価では目立たなかった複雑な奥行き圧縮関数に由来するアーチファクトが、アニメーションになることで顕在化し、好ましさ評価で単純な奥行き圧縮関数による従来型の奥行き圧縮が選択された可能性もある。アニメーションが奥行き圧縮表現の好ましさに与える影響については、まだ不明なところが多く、今後さらに検討が必要である。

適応型奥行き圧縮の制限として、奥行き配分を受けるオブジェクト数に限りがあることが挙げられる。オブジェクト数が増加すると、それぞれに配分される奥行き量は相対的に低下してしまう。奥行き圧縮関数の曲線の傾きが小さくなることに相当し、結果としてオブジェクトが強く圧縮されることを意味する。これは、式（5）のd_iをすべて均等に配分するという表現上の意図によるものである。しかし、構図の中で主たる被写体は、一般には数個に限定されることが多いため、この制限が顕在化することは、奥行き再現範囲がよほど狭い場合を除いて、大きな問題とならないと考える。この制限によって生じる問題は、アニメーションシーンの文脈に応じて、奥行き圧縮関数を適切に設定することでこの制限によって生じる問題を軽減できると考えられる。

７．まとめ

本報告では、適応型奥行き圧縮が、奥行き再現能力に制限がある奥行き再現型3Dディスプレーにおいて、映像制作意図を適切に反映させる手段が提供できることを示した。3D映像表現の幅を広げることができる本手法は、将来の３次元テレビサービスにおけるコンテンツ制作の重要なアプローチとなる。

本稿は、ITE Transactions on Media Technology and Applications誌に掲載された以下の論文をもとに加筆・修正したものである。

Y. Sawahata, Y. Miyashita and K. Komine: “Intended 3D Content Expressions on Light-field Displays using Adaptive Depth Compression,” ITE Transactions on Media Technology and Applications, Vol.10, No.2, pp.75-88（2022）.