6.4　コグニティブサイエンス

将来の多様な視聴形態を想定し、3DやAR/VRのコンテンツにおいて視聴効用を高める空間表現となる条件や多感覚提示によるクロスモーダル効果を明らかにする研究を進めている。

2021年度は、3次元空間で複数の物体を撮影する際の「良い」表現（撮影パラメーター）を予測するモデルを提案したほか、物体形状のわかりやすさの観点から3次元表示の効用を心理実験により明らかにした。また、新たにクロスモーダル効果の研究に着手し、体性感覚刺激を提示可能な実験環境の構築を進めた。

視聴者が「良い」と感じる表現

任意の視点から3次元オブジェクトを観察する際、観察者が選択する「良い」表現には一定の傾向があると考えられる。本研究では、与えられた表現に対して人が感じる「良さ」を予測するための基礎検討として、表現の「良さ」とそれを生成する撮影パラメーター（仮想カメラの位置・方向）との関係を調べる実験を行った^（1）。

本実験は、インターネットを用いたウェブ実験として実施した。実験参加者は、ウェブブラウザ上に表示された画像の「良さ」を評価した。延べ参加者数2万人を超える被験者から、さまざまなシーンにおける撮影パラメーターと「良さ」を関連づけるデータセットを収集した。

収集したデータセットを用いて「良さ」の予測モデルを提案した。その結果、従来法（視点エントロピー法）では困難であった、複数オブジェクトからなるシーンにおいても良好な予測が可能となることを確認した。提案手法による最も良い表現（撮影方向）の予測は、従来法による予測に比べ、ウェブ実験で得られた「良い」表現の視点分布に近いことがわかった（図6-5）。図中の円の大きさは予測されたスコア、または実験で選択された視点の選択率を示す。「良さ」という人の高次な判断が、画像特徴からの計算によって予測可能であることが示唆された。

3次元表示の効用

3次元表示が視聴者に提供できる効果・効用として、「形状が分かりやすい」などの形状認識成績の向上効果があることを検証した^（2）。3次元幾何学図形を同時に2つ表示し、それらが同一であるか否かを判断する課題を行った（図6-6）。その際、表示方法（3D / 2D）、視距離、表示時間を変えて課題成績を比較したところ、3D表示の方が2D表示よりも同等の情報を短時間で伝えることができること、視距離が短いほど3D表示の2D表示に対する優位性が高いことが分かった。空間表現（3D表示）の効果・効用が、印象増強だけではないことを示した。

視聴効用を高めるクロスモーダル効果

視聴効用を高めるコンテンツ提示手法の開発を目指し、映像と体性感覚刺激によるクロスモーダル効果の研究に着手した。2021年度は、視聴覚以外の感覚刺激も提示することでクロスモーダル効果を評価するための実験環境の構築を進めた。

刺激の提示方法として、皮膚との接触面に対して温冷覚刺激と振動刺激を同時に提示可能な小型触覚刺激ユニットを開発した^（3）。温冷覚の提示にはペルチェ素子を使用し、これを面方向に対する熱伝導率が高い素材と組み合わせる新たな方式を検討して実装した（図6-7）。この方式により、ペルチェ素子の面積よりも広い接触面に対する一様な温度の提示を実現するとともに、ペルチェ素子と同じ接触面に振動子を直接配置することで、温冷覚と振動刺激が同時に提示できることを確認した。また、振動刺激、温冷覚刺激、嗅覚刺激をそれぞれ映像音声にあわせて提示制御するソフトウェアを試作し、映像、音声、振動、温冷、香りによるクロスモーダル効果を体験できる環境を構築した。

ヘッドマウントディスプレー（HMD）で提示する360度の全天球映像と体性感覚刺激とのクロスモーダル効果を評価する環境として、視聴覚以外の感覚刺激を非接触に提示する方式の検討を進めた。感覚間の相互作用による効果を定量的に評価するための、物理的な刺激強度の制御手法や統制方法に関する課題を抽出した。