多視点ロボットカメラシステム

（１）ロボットカメラの設置

被写体が位置する領域や移動領域を考慮して撮影領域を決定する。撮影領域を囲むように多視点ロボットカメラを円弧状もしくは直線状に並べて設置する。その際，両端のカメラの光軸が，撮影領域の中心で交差するように設置する。光軸が交差する角度は，ぐるっとビジョンにおいて視点が被写体の周囲を回り込む角度となる。

（２）カメラキャリブレーション

各ロボットカメラをCam_n(1≤n≤N）と定義し，nはカメラ番号，Nはカメラの台数とする。すべてのロボットカメラを，撮影領域内にある適当な被写体に向けて手動で方向制御し，多視点映像を撮影する。その撮影映像に弱校正カメラキャリブレーション^12)*2 を施し，Cam_nのカメラパラメーター（回転行列^*3 R_0n，並進行列^*4 t_0n）と，この撮影におけるエンコーダー値（パンP_0n，チルトT_0n）を取得する。このとき，世界座標^*5 xからカメラ座標^*6 x_nへの変換式は（1）式で表される。

（３）ロボットカメラの（一斉）方向制御

制御の概要を2図（a）に示す。すべてのロボットカメラが，３次元空間内の点である注視点に，常に追随するように方向制御を行う。注視点は，カメラマンによるマスターカメラの操作によって，３次元空間内の任意の位置に指定することができ，注視点を被写体の位置に指定することで，被写体の多視点映像を撮影できる。

まず，Cam_n(1≤n≤N）から１台のマスターカメラCam_Mを選択し，それ以外をスレーブカメラとする。マスターカメラの光軸o_M上には，注視点gが設定される。o_Mは（2）（3）（4）式より求める。

ここで，P_M， T_Mは，それぞれマスターカメラのパン，チルトのエンコーダー値を示す。また，gは（5）式より求める。

ここで，（5）式におけるDはデプス値を表す。デプスとは，マスターカメラと注視点の間の距離である（2図（a）参照）。デプスを連続的に増減することによって，注視点は光軸に沿って移動する。カメラマンは，マスターカメラのパン，チルト操作により光軸の方向を，デプス操作により光軸上の注視点の位置を変えることができる。

ここで，デプスの操作デバイスの操作量に比例してデプスを増減させた場合，3図（a）のように，注視点に追随するスレーブカメラの制御角度が，注視点がマスターカメラと近い位置にあるときは大きく変化し，遠い位置にあるときは小さく変化するため，直感的な操作が難しい。そこで，（6）式を用いてデプスを操作する。

（6）式を用いてデプスを操作するために，まず，3図（b）のように，複数台のスレーブカメラから１台を選択する。（6）式におけるBは，マスターカメラと選択したスレーブカメラの間の距離，θは，選択したスレーブカメラの方向制御の範囲であり，選択したスレーブカメラがマスターカメラの位置へ方向制御されたときの角度とマスターカメラと同じ方向へ方向制御されたときの角度との間の幅である。dはデプスの操作デバイスの操作量，d_maxはその最大値である。（6）式の制御により，デプスの操作デバイスの操作量に比例して，注視点に追随するスレーブカメラの制御角度を変えることができ，直観的な操作を行うことができる。

そして，（7）式により，すべてのスレーブカメラを注視点に向けて方向制御する。すなわち，カメラ座標系における各カメラから注視点gへのベクトルo_nを（7）式より求める。

各カメラを注視点へ方向制御するための制御角（パンP_n，チルトT_n）は（8）（9）（10）式より求める。

各カメラのパンとチルトをそれぞれP_n，T_nだけ制御することで，カメラの方向を注視点に追随させる。

また，光学ズームを用いて注視点上の被写体をすべてのカメラで同じサイズで撮影するために，各カメラから注視点までの距離D_nに応じて，各カメラの焦点距離f_0nを（11）式により制御する。

カメラマンは，注視点を被写体位置に指定して多視点映像を撮影するために，まず，マスターカメラのパン，チルトを操作して被写体を捉える。次に，デプスを操作して，注視点を光軸に沿わせて被写体位置まで移動させる。カメラマンは，マスターカメラの他に，最低１台のスレーブカメラの撮影映像を見て操作し，スレーブカメラの撮影映像における被写体の位置によって，デプスが合っているかを判断する（4図）。例えば，4図（a）のようにデプスが合っていない場合は，マスターカメラの撮影映像では被写体が画面の中心に位置しているが，スレーブカメラでは被写体が画面の中心に位置していない。一方，4図（b）のようにデプスが合っている場合は，マスターカメラとスレーブカメラの双方で被写体が画面の中心に位置しており，カメラマンはデプスが合っていると判断することができる。

（１）被写体の決定

まず，機械的方向制御を行って撮影した多視点映像と，撮影時の焦点距離を収録する。収録完了後，ユーザーは，収録した多視点映像からぐるっとビジョンを生成するフレームF（5図参照）と被写体を決定する。多視点映像のうち任意の２台のカメラCam_a，Cam_bの映像において，その被写体の位置の画像座標（u_a, v_a）および（u_b, v_b）を取得する。

（２）カメラキャリブレーション

ぐるっとビジョンを生成するフレームFの多視点映像と収録した撮影時の焦点距離を用いて弱校正カメラキャリブレーションを行い，カメラパラメーター（回転行列R'_0n，並進ベクトルt'_0n，焦点距離f_0n）を取得する。世界座標xから画像座標（u_n, v_n）への変換式を（12）（13）（14）式に示す。

ここで，ωは画像距離（カメラからxまでの距離），f_0nは焦点距離，（C_x, C_y）は画像中心（画像の中心の位置座標）を表す。

（３）仮想的カメラ制御

（１）で選択した被写体の位置に，注視点をg'として再指定し，射影変換を用いてカメラをg'へ仮想的に再方向制御する。 g'は（15）（16）（17）式より算出する。

ここで，S_nijはS_nのi行j列目の要素，M⁺はMの一般化逆行列^*7 を表す。

カメラを仮想的に方向制御した際にカメラを地面と水平に保つために，地面との垂直軸を算出する。ロボットカメラの２軸のうち，チルト軸は地面と水平になっているため，垂直軸は任意の２台のカメラCam_s，Cam_tにおけるチルト軸の外積によって算出できる。垂直軸vを（18）（19）式より算出する。

カメラをg'へ仮想的に方向制御したときの回転行列R'_nを（20）（21）（22）（23）式より算出する。

ここで，e_nx，e_ny，e_nzは，それぞれカメラのチルト軸，パン軸，ロール軸を表す。

カメラをg'へ仮想的に方向制御した際，すべてのカメラにおける被写体の大きさをマスターカメラCam_Mの被写体の大きさと同じにするために，（24）式より，各カメラの焦点距離f_nを，カメラから注視点までの距離に応じて調整する。また（25）式より， f_nから行列A'_nを算出する。

ここで，kは射影変換後のズーム率である。

カメラをg'へ仮想的に方向制御するために，（26）（27）式により射影変換を行う。（u_n, v_n）は，射影変換前の画素の画像座標，（u'_n, v'_n）は，射影変換後の画像座標を表す。

（４）ぐるっとビジョンの映像生成

ぐるっとビジョンにおける映像生成を5図に示す。

まずユーザーは，専用のソフトウェアを用いて，多視点映像シーケンス中の複数のフレーム（キーフレーム）F_iを選択し，各キーフレームにおいて，注視点と射影変換後のズーム率，どの視点から見るかという情報を入力する。

次に，選択されたキーフレームにおいて，弱校正カメラキャリブレーションを用いてカメラパラメーターを求め，射影変換行列H_niを生成する。さらに，キーフレームにおける被写体をどの視点から見るかという情報からカメラパスを決定し，カメラパス上のキーフレーム以外のフレームにおける射影変換行列を，キーフレームの射影変換行列を用いて補間することにより生成する。ここで補間は，キーフレームとの距離に応じて線形補間で行われる。この補間により，キーフレームの間でも滑らかに視点がつながるようにカメラを仮想的に方向制御することができる。

最後に，カメラパス上の画像に射影変換を施し，画像を切り替えることでぐるっとビジョンを生成する。