空間表現を広げる視覚のしくみ

２．１　メタマーという概念

それでは，同じと見なせることをどう説明するか？　それを説明しやすい概念として，「メタマー」についてお話ししたいと思う。メタマーとは，もともと色に対する基本的な概念である。例えば似たような布や紙を持ってきて，これはほぼ同じ色だというものを集めることができる。このとき，見た目が同じ色のものをメタマーと呼ぶ。実際には，いろいろな場面で体験することであり，白熱電球で照射している環境では同じ色だったが，外へ出て太陽光の下で見たら全然違う色に見える，ということもある。これは，ある条件で等色が成り立っているという意味で，日本語では「条件等色」という言い方をする（2図）。

本章では，この概念が画像技術にどう影響しているのか，あるいはどう有効に働いているか，という話を少ししたいと思う。

２．２　色についてのメタマー

3図で，縫いぐるみの注目部分の色が，実際の色と画面上の色で，大体同じになるように画面を調整した。同じ色に見えるが，分光測光器を使って，いろいろな波長成分がそれぞれの光にどのくらい含まれてるかを測ると，3図右のようになる。横軸が波長で，縦軸が光強度である。波長400 ～ 800nmの範囲で，実物の光強度分布は3図右上のように，ディスプレーの光強度分布は3図右下のようになっていて，全然違う分布なのに，同じ色に見える。これは，色が三原色で表現できるという事実を使って，赤緑青の３色を増減させて同じような色を作ることができるからである。

人間の網膜には，色覚に関与する光受容体（錐体）が３種類ある（4図）。この３種類は， L，M，S（波長がロング，ミディアム，ショートという意味）であり，この３種類の錐体の応答が同じになれば，それが人間の色覚なので，人間には区別できない。そこで，3図の分光特性それぞれのLMSの応答を計算してみると，5図のように大体同じになる。LMSセンサーの応答が同じなので，同じ色に見える，ということが起こる。この２色を，お互いにメタマーと呼ぶ。

人間の光受容体は３色なので，人間が見るいろいろな色を，基本的に３色で表現できる。他の動物では，例えばチョウチョウは光受容体が６種類，シャコの仲間では色に関するものだけで12種類あるものもいると言われている。光受容体が３色という人間の特性が，明らかに画像技術を助けている，と言うことができる。

２．３　解像度についてのメタマー

メタマーという概念を，他のところに使うこともできる。

画像は基本的に画素で出来ているので，近くで画面を見ると，画素が並んでいることが分かるが，十分細かければ，見た目は実物とそれほど変わらない。実物とは明らかに違うが，十分細かければその差は分からない，という意味で，これもメタマーになっていると言える（6図）。

これを前節の光受容体の話と関連づけると，以下のように考えることができる。人間の目を通すと，人間の目には視力の限界，すなわち解像限界がある。したがって，実物を見ても画像を見ても，ある種のボケが生じ，実物でも画像でもある程度ボケて，この差が分からなくなる。つまり，画像を見て，画素が見えなくなるという条件で実物と画像を見比べると，両方は同じに見えるので，解像度に関するメタマーが成立している，という言い方ができる（7図）。

このメタマーが成立する条件，すなわち標準的な観察条件というものが知られていて，画面の高さをHとすると，ハイビジョンの場合，適正な視聴距離は3Hとなる（8図）。この3Hは，視力1.0の人が，画素が見えなくなる距離である。画面から離れれば網膜に映る像は小さくなるので，視力の限界を超えた細かさにできる距離，という言い方もできる。

２．４　時間方向のメタマー

動画は，基本的に静止画の集まりである。9図では，ぐるぐる回転しているものを，ノートパソコンのディスプレーに映している。静止画が１秒間に30コマ，あるいは24コマとなるようにディスプレーが設計されていると，ディスプレー上の回転と実物の回転が区別できない。これを高速に撮影して，普通に再生するスローモーションにすると，実物は連続的に回転していることが分かるが，ディスプレーではコマ送りのように静止画がとびとびになっている様子が分かる。実際はそのように違うけれども，人間の眼の特性によってどちらも同じに見えているという意味で，時間解像度に関して，両者がメタマーの関係にあるという言い方ができる。

10図は基礎的なデータであり，横軸は光の強さ，縦軸は臨界融合周波数（CFF： Critical Flicker Frequency）というものを表す。臨界融合周波数は，各光強度における，ちらつきが感じられない最低周波数である。ちらつきの周波数を上げていって，どこまでこのちらつきが分かるか，つまりちらつきの限界を測ると，光の強度によってこの限界が変わり，明るいほうが高い周波数，すなわち早いちらつきまで見える。10図から，その上限は50Hzくらいであることが分かる。このデータは，テレビのフレームレートや映画のコマ数を設計する際の基礎になっている。

時間解像度に関するメタマーという意味では，注意事項があり，「動きが連続的に見える」ということと，「実際の動きと同じように見える」（実際の動きとメタマーの関係にある）ということは，同じではない。これは，パラパラ漫画とテレビとの違いに相当する（11図）。

また，大きな画面で周辺視野を使って見るような場合は，より高い周波数までちらつきが見えてしまう。すなわち，中心視野で見るか，周辺視野で見るかで見え方が変わる。これは，8Kテレビでは，より高いフレームレートが必要であることを示している。

２．５　画像による３次元表現とメタマー

12図で，クマの縫いぐるみの実物と，ディスプレー上の画像があるが，画像がこのクマを表現していることはすぐに分かる。これはある意味で，メタマーだからというふうに考えることができる。色だけでなく，３次元の形状も同じだと見なしている。

そこで，２次元の画像によって，どのように３次元が表現されているのか，ということが大きな問題となる。いろいろな説明があるが，基本的には３次元を２次元に押し込めている。そして，うまく押し込められている３次元をうまく読み取っている，というのがここで起こってることなのだろうと思う。

「大きさ」というのは非常に分かりやすい話なので，そこからお話しする。近くの小さいものと，遠くの大きいものは，網膜に映った像は同じになる。ということは，同じ形だとしても，大きさについては無限の可能性があるメタマーと考えることができる。

そうすると，大きさを決めるためには距離を知らなければならない。普通は見ただけでは分からないので，ある距離を仮定して，それで大きさを決めることになる。あるいは，距離を知るために，大きさを仮定して推定するということを人間はやらざるを得ない。人間だけではなく，この状況であったら，コンピュータービジョンでも同じである。

実際，そういうことを人間がやっているのだろうというのは，よくある13図のような錯視からも分かる。13図の少年は，画面上，同じものである。しかし，画面上の場所によって，小さくも見えるし，大きくも見える。何が起こっているかというと，先ほど述べた大きさと距離の関係を推測するときに，近くにあると思えば小さくなるし，遠くにあると思えば大きくなるということである。推定を誤ると，大きさの知覚が不正確になる。画面の中では，右に行くほど遠くへ行っていると感じるため，この人は大きく見えるということである。知覚される距離によって違う大きさに見える。あるいは，実際には違う大きさのものが，距離によって，網膜には同じ大きさに映るということもある。

大きさについて無限のメタマーがあり，形についても無限のメタマーがある（14図）。これは，曖昧さがあるとも，自由度があるとも捉えることができる。同じことであるが，違う捉え方ができる。自由度の話は，画像技術にとって，とても重要である。例えば，テレビの中に人が大勢映っている場合や，建物がたくさん映っている場合がある。そのとき，人間は，人が映っていれば，普通は，人がその大きさに見えるぐらいの距離から見ていると勝手に思う。同様に，建物が写っていれば，それなりの距離から見ているのだろうと思う。ということは，人間が適当に仮定してうまく見てくれている，という意味で，決められないということが，ここではプラスに働いてる，と言うことができる。

一方，曖昧さについて，視点によって固有の３次元世界ができる例として，15図のような錯視が知られている。この２つは全く同じ写真である。しかし恐らく右の方が何か傾いて見えている。何が起こっているのか，完全に解明されているわけではないが，それぞれ３次元の世界で上に行くほど遠いということは構成されているが，それを２つ並べたときに，このスライド上の２次元の世界で，３次元がどうなっているかというのはまた別の話になっている。

ここまで，視覚系のメタマーの存在が２次元画像による世界の表現を可能としている，また，メタマーの理解（自由度と曖昧さ）が画像技術の進展をもたらしている，というお話をした。

３．１　立体視機能

（１）両眼立体視の基礎

17図は，両眼立体視の基礎を示す図であり，右眼と左眼があって，白い点を視野の中心部で捉えて，黒い点がそこから奥行き方向にずれている。そのときに，網膜に映る像も少しずれて，白い点と黒い点の差，あるいはこのθl ，θrという角度の差が生じる。両眼視差H は17図の式のように表されるので，両眼視差H が分かれば，奥行きd を推定することができる。

右目と左目の像をそれぞれ１枚の平面で作って，それをそれぞれの目に見せる，というのが両眼立体視の基本であり，18図のステレオスコープでは，両側に右目用の像と左目用の像を置いて，真ん中にミラーを置くことで実現している。実際には平面２枚を見ていても，人間にとっては立体画像，あるいは実物を見ているのと同じになるので，これもメタマーであるということになる。

（２）両眼立体視による立体画像特有の課題

次に，両眼立体視の特性として，２次元の画像として考えた場合と異なる，いろいろな問題があるということを少し紹介したいと思う。

19図では，上の縞（細い縞）と下の縞（粗い縞）がある。どちらの縞も，真ん中の黒い小さな縦線に対して，手前に来るように作ってある。私が見ると，上の縞の方がより手前に見えている。これを動かすと，今度は下の縞の方がより手前に見える。あるいは，止まっているときは同じくらいに見えて，動かすと下がより飛び出して見えるということを確認できた方もいるかと思う。これは実験的に確かめられていて，立体視の特性として，このようなことも知っておかないと，正しい奥行きを評価・表現できない。

20図は，ルビンの壺と呼ばれる。めがねをかけないで見ると，この杯のような形が図形として見える。めがねをかけると，人の顔が浮かんで見えるように作ってある。これは，立体視により曖昧性が取り除かれるということである。この境界線が顔側の輪郭だと思うと顔に見えるし，壺側の輪郭だと思うと壺に見える。したがって，奥行きを反転させることによって，どちらが目立つか，ということを変化させることができる。

（３）複数の手がかりの統合

奥行きの手がかりには，両眼立体視以外にも複数の手がかりがある。これらが協調し合ったり，矛盾していると互いに邪魔をしたりということが起こる。

ここでは，奥行き運動の話をしたいと思う。奥行き運動の手がかりには，21図に示す３つの主要な手がかりがある。このうち２つは両眼性の手がかり（両眼立体視と両眼間速度差）で，１つは単眼だけで分かる手がかり（大きさの変化）である。

両眼性の奥行き手がかりが２つある，ということは重要である。例えば，手前に動いてくるものを見ていると，右目の網膜像と左目の網膜像は，22図に示すように，逆の方向に動く。ということは，両眼視差とは別に，右目と左目の速度の差（両眼間速度差）が分かれば，奥行き運動が分かるはずである。

つまり，両眼視差の手がかりが無くても，速度の差があれば奥行き運動が分かるということである。これが，個人差という意味で重要であることを，23図の実験結果が示している。斜視の患者さんには立体視が苦手な方が多いが，この図の１つ１つのシンボルが，そのような１人１人の方の立体感度を表している。23図の横軸が速度差の手がかり，縦軸が視差の手がかりで，数字が大きくなると，立体視をするために奥行きを増やしているという意味である。したがって，数字が小さい方が，感度が良いということになる。赤い丸は，健常者のデータを表す。一方，斜視の患者さんのデータ（青い丸）を見ると，視差の手がかりは最大まで大きくしても立体視ができなかったが，速度差の手がかりについては健常者と同じくらいで立体視ができた人もいた。また，視差と速度差の関係が，その逆となる人もいた。視差の手がかりと速度差の手がかりの間には，ほとんど相関が無いので，２つの手がかりは別々のものだろう，ということが分かる。

一般的に，眼科のお医者さんで立体視検査を受ける場合は，止まっている絵を見て，奥行きが分かるかどうかという検査をしているが，23図の実験結果を見ると，速度差の手がかりがあれば奥行き運動が分かるという人もいるはずだということが分かる。立体が見えない人の何割かは，恐らく動きがあれば見えるという人も含まれているだろうということで，３次元映像を楽しめる可能性がある人は，普通に考えられるよりは多いだろうと思う。

ここまで，両眼立体視の問題点や可能性について述べてきたが，両眼立体視を使った３次元映像の技術を発展させるためには，人間がどのような特性を持っているかという調査がこれからも必要になると思う。

３．２　能動性と身体性

次に，能動性と身体性というお話をしたいと思う。この話は，我々が無意識に，頭の中にどのような空間を組み立てられるのか，ということを示す我々の最近の研究結果である。

視覚にはいろいろな目的があるが，その１つは，自分の周辺の環境を見て覚えることである。したがって，自分の部屋や，いつも通る道は，一生懸命覚えようとしなくても大体頭の中に入っている（24図）。テレビを見ていてリモコンを探す場合に，頭の中にテレビのリモコンの位置が入っていると，すぐにここにあるということが分かる（25図）。これは，どうやっているのだろうか。本当に無意識に，このようなことができるのだろうか。

このことを，26図のような実験で調べた。被験者が６台のディスプレーの真ん中に入って，ある課題を行う。課題は，ディスプレーの中にターゲットTがどこかにあって，それを探すというものである。T以外は妨害刺激と呼ばれ，Lと表す。被験者に，「Tの足が向いている方向のボタンを押して下さい」と言っておくと，被験者はTを見つけてボタンを押す（27図）。

まず１台のディスプレーを使って，この実験を，28図に示すように，24枚の画面を１ブロックとして30ブロックまで続けた。そして，24枚の画面のうち12枚は新規配置，12枚は繰り返し配置（同じ配置の繰り返し）とした。繰り返し配置では，ターゲットTの位置と，その他のLの位置も同じで，ただ向きは変わっている。つまり，繰り返し配置12枚は，30ブロックまで実験すれば，30回ずつ見たことになる。このような実験を30ブロックまで行うと，28図右のグラフのように，探索時間がだんだん早くなる。そして，新規配置と繰り返し配置の間に差が出る。「これを見たことがありますか」と後で聞いても覚えていないにもかかわらず速くなるということで，潜在的学習，あるいは無意識の学習と呼ばれている。このように，無意識に空間配置を覚えられる，同じ配置を覚えやすくなる，という現象が知られていて，「文脈手がかり効果」と呼ばれる。

次にこの実験を，26図のように，被験者が６台のディスプレーの真ん中に入って行った。刺激としては，６台のディスプレーのどこか１箇所にTがあるという実験になる。29図が実験結果である。ターゲットがどのディスプレー上にあったかで別々の結果になっているが，全てのディスプレーのターゲットについて文脈手がかり効果が得られている。ということは，背後も含めて，無意識に自分を取り巻く環境の配置を覚えることができる，という結果になっている。例えばサッカー選手の動きなどを見ると，そうなのかな，と思わせられることもあるので，頭の中にそのような表象を持っていることは，それほど不自然ではないだろう，と考えている。

同様の実験を，３次元の対象に対して，自分がその周りを動くという条件で行うと，繰り返し観察によって，３次元の配置も無意識に学習できることが分かる。これは，自分の行動あるいは能動性というものと関係した３次元の表象が必要なのだろう，ということを示している。このような表象をうまく作ることができれば，新しい３次元映像を作ることもできるだろうと思う。