空間共有コンテンツ視聴システム

VR/AR技術で遠く離れた人と空間を共有して一緒に視聴する体験

テレビの枠を超えた体験や、コンテンツを通じた人とのより深いつながりを提供するサービスの研究を進めています。ここでは、AR(拡張現実)やVR(仮想現実)技術により、離れた場所の人とあたかも同じ空間で一緒にコンテンツを体験しているように感じられるシステムを展示しています。

空間共有コンテンツ視聴システムのしくみ

AR・VRコンテンツの空間にお互いの3次元映像を合成

「自分」(図左)のヘッドマウントディスプレー(HMD)には、AR・VRコンテンツの映像に、離れた場所にいる「友人」(図右)の等身大の3次元映像が合成されて表示されます。同時に、「自分」の3次元映像も「友人」のHMDで再生されているAR・VRコンテンツに合成されて表示されます。 お互いの姿の3次元映像は、距離センサー付きのカメラでリアルタイムに撮影され、ポイントクラウドとして通信経由で伝送されます。

※ ポイントクラウド:x, y, zの3次元座標値と色情報(R, G, B)で構成される点群データ

インタラクティブに体験を共有

このシステムでは、コミュニケーションを活性化してコンテンツをより深く楽しめるように、離れた場所にいる人どうしでインタラクティブにコンテンツを操作できるしくみを実装しました。コントローラーの操作情報を相互に伝達し、お互いが見ているコンテンツの状態を同期することで、あたかも同一のコンテンツを共有して操作しているかのような環境を実現しています。

本システムでは「未来のお茶の間」の提案として、離れた場所の人が等身大の3次元映像で隣に表示されることに加え、会話や共同作業が可能な環境を実現しました。
今回は、このシステムにあわせて、BS8Kの番組「見たことのない文化財」の世界を出演者と同じように追体験できるコンテンツを制作しました。離れた場所の家族や友人と協力して観察したい個所に懐中電灯の光をあてたり、内部の様子を一緒に体感することで、遮光器土偶のことをより深く知ることができます。