スポーツ映像表現技術の研究開発動向
当所では，スポーツ中継において通常の撮影映像だけでは把握しにくい状況を，分かりやすく効果的に伝えられる映像表現技術の研究開発を進めている。近年，スポーツを対象とした情報処理技術は市場の拡大とともに急速に発展してきており，スポーツ中継向けの映像表現技術に関しても同様の状況と言える。本稿では，スポーツ中継における映像表現技術の課題を述べるとともに，近年のスポーツ映像表現技術の研究開発動向について解説する。
１．はじめに
オリンピックなどの大型スポーツイベントの開催や，個人・グループのスポーツ技能向上，スター選手などへの興味，健康志向の高まりなどを受けて，世の中のスポーツに対する関心は増すばかりである。テレビ放送においては，通常の撮影映像だけでは伝わりにくい競技の状況を分かりやすく伝える工夫として，映像解析技術やセンサー情報などを利用したさまざまな映像表現技術が生み出され，改善されてきた。例えば，野球競技における映像表現では，1970年代後半から，スピードガンを用いた投球速度表示が行われているが，その後，ボール軌跡の表示が行われるなどの進化を遂げており，さらに近年では，ボールの回転数などの表示も可能になっている。
一方，スポーツ中継向けの映像表現技術を開発・実用化するには，公式大会におけるルールや競技会場の環境などに起因するさまざまな制約があり，映像表現技術はそれらの制約を満たす必要がある。そのため，設計や開発工程においては，制約を満たせるセンサーの開発や，内部処理にかけられる所要時間と精度とのバランス調整，競技会場での入念な検証実験などが求められる。
本稿では，スポーツ映像表現技術全般に関する現状について述べ，スポーツ中継における映像表現技術の制約や課題を指摘するとともに，近年のスポーツ映像表現技術の研究開発動向について解説する。
２．スポーツ情報処理と映像表現
スポーツへの関心が高まる中で，スポーツ競技の状況をより詳しく知りたいというニーズも一層の高まりと多様化を見せている。スポーツ競技の状況を把握する手段としては，試技を撮影した映像の提示や専門家による解説などのほかに，技術的に状況を計測・分析し，それを提示することが挙げられる。この計測・分析・提示に必要となるスポーツ情報処理関連技術は，1表に示すように，さまざまな技術から構成され，その用途は多岐にわたる。これらの技術は，産業・経済の面で期待される波及効果の大きさから，各所で活発に研究開発が進められ，順次実用化が図られている。
スポーツ情報処理における代表的な映像表現技術を2表に示す。これらの技術は，競技や目的によって制約や要求される精度などが異なることから，実現するためのアプローチはさまざまである。本章では，現時点でのスポーツ情報処理技術において，映像表現と関連性の高い事項をアプローチごとに整理して解説する。
２．１ 多視点映像を利用した映像表現技術
スポーツの試技において，選手や競技フィールドをさまざまな視点や向きで観察したいというニーズがある。これに応える技術として，多視点から同じタイミングで試技を撮影し，その映像を用いて，撮影後に仮想的にカメラの視点や向きを変更した映像を生成・提示する技術が，国内外の機関で研究・開発されている1)2)3)4)5)。これらの手法は，被写体を取り囲むように配置した複数のカメラ映像（多視点映像）を用いる点で共通している。しかし，撮影後の処理に関しては，1図（a）に示すように，多視点カメラで撮影した被写体を３次元モデル*1 に変換し，自由な視点変更に対応する手法と，1図（b）に示すように，多視点カメラで撮影した映像を滑らかに切り替える手法（「タイムスライス撮影による手法」と呼ぶ）に大別される。
（１）３次元モデルによる手法
３次元モデルによる手法1) は，多視点映像の解析により被写体の３次元モデルを取得し，任意の視点から見込まれる映像をCG（Computer Graphics）描画技術により再構成する手法である。３次元モデルを獲得する必要があるため，撮影後の処理にかかる計算コストは大きいが，視点変更の自由度が大きいことに加え，後述のタイムスライス撮影による手法と比較して，少ないカメラ台数で実現できるという特長がある。
３次元モデルによる手法において必要となる形状取得については，映像解析による手法のほかに，センサーから被写体の各部位までの距離を取得するレンジセンサーによる手法も提案されている。その１つで， 近年多く用いられるようになってきたToF（Time of Flight）手法6)7)8) は，センサーカメラ*2 側から発した光が被写体表面で反射し，再びセンサーカメラに戻ってくるまでの時間を基に距離画像を取得する手法であり，光源に赤外線を利用することで，撮影映像に影響を与えずに，短時間で計測できるという利点がある。しかし，原理上，屋外の広大なフィールドで行われる競技（例えばサッカーなど）に対しては，細かい起伏が計測できなくなることに加え，太陽光に含まれる赤外光の外乱を受けるなど，現状では実用化に向けた課題を有している。
（２）タイムスライス撮影による手法
タイムスライス撮影（バレットタイム，あるいはマシンガン撮影などとも呼ばれる）による手法は2)3)4)，被写体を取り囲むように連続的に配置したカメラの映像を順次切り替えて，あたかも配置したカメラの並びに沿ってカメラを移動させて撮影したかのような映像を生成する手法である。時間を止めてカメラが回り込むといった映像表現が可能で，試技の重要なシーンをさまざまな方向から観察することが可能となる。あらかじめカメラの移動経路（カメラパス）を決定し，それに合わせてカメラを設置しておく必要があるが，希望するカメラパスおよびカメラ移動時間を基に，滑らかな映像切り替えに求められるカメラの設置位置や間隔（台数），レンズ等の条件を各カメラに設定できれば，高品質な再生映像を生成できる。
しかし，現実の撮影条件（カメラの位置や向きなど）を理想的な状態に設定することは，機械精度の限界などから困難である。そのため，理想的な条件と現実の撮影条件との誤差を許容した上で，画像処理により，撮影条件の誤差の仮想的な補正や，カメラ間の映像内挿処理による補間などが行われる。仮想的な補正は，例えば，注目する被写体をいずれのカメラでも中心に位置するように映像処理するもので，一般的には，事前の校正処理によりカメラの姿勢やレンズなどの状態（カメラパラメーター）を求めておき，得られた情報を利用して撮影映像に射影変換処理*3 を施すことで，あたかも理想的なカメラとレンズで撮影したかのような映像に補正する。ただし，この射影変換処理により撮影映像の一部が切り取られるため，画質が低下するという課題がある。
上記（１）の３次元モデルによる手法と（２）のタイムスライス撮影による手法を比較すると，視点の自由度の点で前者が有利と言える。ただし現状では，被写体や撮影の条件によっては，欠落などのない整った３次元モデルを生成することができず，再構成した自由視点映像が破綻する場合がある。今後， この課題が解決されていくことで，AR（Augmented Reality）やVR（Virtual Reality），３次元テレビなどのコンテンツ制作における活用が期待できる手法と言える。一方で後者は，生成映像のカメラパスに制限があるものの，品質の確保が比較的容易であり，また，短時間で映像を生成できることから，試技を即座に確認する場合などの用途に有利な手法と言える。
さらに，（１）（２）のいずれの手法も，最終映像の画質は，撮影する際の画像解像度に依存する。例えば，サッカー競技などのように広いフィールドで多数の選手が入り乱れる状況において，特定の走り回る選手に注目するといった場合には，画像品質の確保に工夫が必要となる。この課題に対して，当所では，多視点映像を用いた映像表現として「ぐるっとビジョン」の開発4) を進めている。この手法は，（２）のタイムスライス撮影による手法を基本とし，カメラマンのベースカメラ（複数のカメラのうち，代表となるカメラ）への操作に対して協調動作する多視点ロボットカメラを用いている。この仕組みにより，通常のカメラマンの操作とほぼ同等の操作で全カメラを操作でき，なおかつ画質を損なわない適切な画角とカメラワークで，注目する被写体を撮影可能としている。詳細については，本特集号の報告１「多視点ロボットカメラシステム」を参照していただきたい。
２．２ 被写体位置計測技術
スポーツ競技において，ボールや選手の位置を特定することは，選手の状況把握やフォーメーションの分析などにおいて極めて重要な情報となる。競技団体によっては，試合で計測を行い，取得したデータを競技者や視聴者などにフィードバックして，技能向上や競技への理解・魅力を高めることに利用している。この被写体位置計測技術は，画像解析によるパッシブな手法と，ドップラーレーダーやRFID（Radio Frequency Identifier)*4 などを用いて計測するアクティブな手法とに大別できる。
（１）画像解析による手法
ボールゲームにおけるボールや選手の位置をカメラで撮影し，それぞれの被写体の画像特徴をよりどころに映像から位置を特定する手法では，一般的に撮影には固定のセンサーカメラが用いられており，センサーカメラの台数やその配置などは競技や目的によりさまざまである。サッカーやバスケットボールなどの競技を対象にボールや選手の位置を計測する従来手法としては， 例えば，ChyronHego社の「TRACAB」9) やSTATS社の「SportVU」10) などが挙げられる。撮影システムとしては，「TRACAB」では，１つの筐体に３台のカメラを収めたカメラシステムを２式用いてフィールド全体を撮影し，計測を行っている。「SportVU」では，サッカー競技では３台，バスケットボールでは６台のカメラを用いて計測を行っている。これらの手法11)12)13) では，背景差分11)*5 をベースとした手法や色情報を利用した手法12) を用いて，撮影映像からボールや選手の領域を抽出し，画像解析によりボールや選手の識別・追跡を行っている。
画像解析による手法では，撮影映像上の被写体の状態により，追跡結果に誤りを生じる。そのため，現状では，精度を求められる用途においては，自動処理後に手動で修正を行っている。特に，誤りを生じる要因は，選手同士が接近・交差することにより生じるオクルージョン（隠れ）領域の存在である。この対策としては，異なる視点の映像を利用する手法13) や後述のRFIDの利用が有効である。
画像解析を利用した被写体位置計測技術は，近年，高精度化が進んできており，サッカー（イングランド・プレミアリーグ）ではゴールライン判定に採用されている。このゴール判定には，Sony社による「Hawk-Eye」14) というシステムが用いられている。Hawk-Eyeは，複数の高速度カメラで撮影した映像を解析することで，選手の位置やボールの軌道を瞬時に算出可能で，その位置精度はmmオーダーとされている。イングランド・プレミアリーグでは，ボールがゴールと認定された際に，審判らの腕輪に情報が伝達される仕組みとなっている。このようなシステムはサッカーだけではなくテニスの公式試合でも利用されており，今後さまざまな競技種目に導入されていくものと予想される。
（２）RFIDを利用した手法
選手のユニフォームやボールにRFID（RFタグ）を埋め込んでおき，それを多地点のアンテナで受信することで，三角測量の原理により位置を特定する手法が，ChyronHego社（「ZXY ARENA」15)），Zebra Technologies社16) により実用化されている。さらに，加速度計，ジャイロスコープ*6，心拍計などのセンサーを付加すれば，それらのセンサーで取得した情報をRFタグ経由で送信可能になっており，選手の姿勢やボールの回転量，心拍なども取得できる。
本手法は，前述の画像解析による手法と比較して頑健であるが，選手やボール側にRFタグを装着する必要があることから，競技者のパフォーマンスへの影響や競技団体のルール上の制約などによって，公式試合などでは利用が制限される場合がある。
その一方で，トレーニングを主目的として，野球のボール内に加速度センサーや角速度センサー，地磁気センサーを埋め込み，投球の速度や回転量を計測する手法が実用化されている17)18)。投球に限定された利用で，公式試合では利用できないが，技能向上への活用が期待される。
（３）ドップラーレーダーによる手法
ボールゲームにおいて，飛翔するボールの各種状態のうち，最も基本的なパラメーターが位置や速度である。その計測に用いられる古典的な手法が，レーダー反射波の周波数の変化を利用するドップラーレーダーによる手法19) である。この手法は，一定周波数のレーダー波（10.525GHz帯，24.15GHz帯）をボールなどの飛翔体に発射すると，飛翔体で反射されて戻ってくるレーダー波の周波数が飛翔体の速度によって変化する性質を利用するものである。反射波の位相の状態によってボールまでの距離が計測できる20) ことを利用し，ボールの３次元位置を特定する。このような被写体位置計測手法はTRACKMAN社21) などにより実用化されており，ゴルフ競技の軌跡表示などに利用されている。
ドップラーレーダーを応用した被写体位置計測手法は，長距離計測や頑健さが特長と言えるが，装置が高価であり，また，原理上，電波干渉による影響を受けるため，複数台の装置の同時使用に制限が生じる場合がある。さらに，計測情報に含まれるノイズへの対策として平滑化処理などを行うため，位置情報出力に遅延がある。
例えば，同時に複数のホールで競技が進行するゴルフでは，複数台を利用したいというニーズがあるため，より簡便で安価な手法が求められている。
２．３ 姿勢情報の取得
選手の姿勢情報は，各種競技におけるフォームの確認や体操競技の評価などにおいて重要な情報である。体育・コーチングにおいては，複数の高速カメラや，CG制作等で用いられるモーションキャプチャー技術などを利用して取得した選手の姿勢情報が，技能向上などに活用されている22)。
しかし，例えば，姿勢情報の取得に光学式モーションキャプチャー技術を用いる場合は，選手の各関節にマーカーを装着し，複数の赤外カメラで取り囲んだ領域内で計測する必要があるため，選手のパフォーマンスに制限を与える場合がある。さらに，広範なスペースが必要な競技では，設備が高コストになるといった課題がある。
一方，近年の深層学習*7 などの発達により，撮影映像から被写体の姿勢を頑健かつ準リアルタイムで推定する手法が提案されており23)，スポーツ情報処理への応用が行われている24)。
２．４ 不可視情報の可視化
飛翔するボールの軌跡やサッカー競技におけるフォーメーションなど，直接撮影映像に映らない情報（不可視情報）の可視化は，被写体の動きを理解する上で重要な情報と言える。飛翔するボールの軌跡の数値化・可視化については，２．２節で述べたとおりである。
また，例えば，体操において選手がどのように身体をさばいたのか，どのように重心を移動させたかといった情報を分かりやすく解説するための支援を目的として，撮影映像から時間経過する選手領域のみを取り出し，連続写真風に１枚の画像に重畳する可視化手法「マルチモーション」25) が開発された。マルチモーションと同様な映像表現手法の例としては，ジースポート社の「DARTFISH」26) などが挙げられる。これらの手法により，選手の一連の動きを分かりやすく伝えることが可能となったが，処理時間や，前後関係が分かりにくいといった課題があった。近年では，遠赤外線カメラと画像解析を併用した手法27) などにより，高速化・頑健化が進められている。
その他の可視化手法として，例えばサッカー競技などでは，オフサイドライン28) が現在どこにあるのか，ピッチ上でパスできる可能性が高い領域はどの場所であるのか29) といった情報を可視化する手法が開発されている。これらのオフサイドラインやパス可能領域の情報は，２．２節で述べた手法により求めた選手の位置情報を利用して算出している。算出後，例えばオフサイドラインについては，撮影映像のカメラ姿勢や画角と整合を取った上でCG描画により可視化し，撮影映像に合成している。
３．スポーツ中継における課題
本章では，２章で紹介したような映像表現を放送に適用する場合，特にスポーツ中継で利用する場合に求められる要件について述べる。
３．１ 公式試合における制約
スポーツに関連したテレビ番組には，教育・科学的な視点で競技を取り扱う番組もある。これらは，必ずしも公式試合を対象とする必要はないため，映像表現における制約は比較的少ないと言える。
一方，スポーツ中継で主に対象となるのは，プロリーグや選手権大会などの公式試合である。公式試合では，競技団体で規定されたルールや，競技会場の環境として求められる要項があり，競技を中継する場合は，それらの制約を順守する必要がある。例えば，競技に用いる用具の素材・大きさ・重量を制限内に収めることや，選手のパフォーマンス，審判の判定を妨害しないための配慮を行うことなどである。これらの制約は，結果的に，カメラや計測装置の設置位置，選手やボールなどへのRFIDや特殊素材などの装着を制限することとなる。したがって，それらの制約を満たす手法の開発や，妨害を与えないための工夫が必要となる。
３．２ 競技の進行に関する制約
競技の進行に関しても制約がある。競技をどのようなスケジュールや段取りで進行させるかは，競技団体側で判断・決定するものである。したがって，試技を振り返っての解説シーンにおいて，何らかの映像表現を施した映像を解説支援として放送に流すためには，試技直後速やかに映像解析処理等を完了し，次の試技が始まる前までに，その映像を流し終えることが必要となる場合もある。
さらに，近年では試技の振り返りだけではなく，試技中にリアルタイムで，撮影映像にCGなどの映像を合成して情報提示を行うケースも増えている。例えば，競泳において先頭選手の位置にラインを合成する，あるいはゴルフ競技においてボール軌跡を合成するといったものである。このような映像表現では，処理の高速化・高精度化に対する要求条件は，一層厳しいものとなる。
また，競技会場ごとに撮影環境は異なるため，手法には頑健さと高い運用性（自動セットアップ機能や使いやすいユーザーインターフェースなど）も求められる。
３．３ 高精度化と処理時間のトレードオフ
スポーツ中継で利用する映像表現技術において，前節で述べたような要件がすべて満たされれば理想的と言える。しかし，高い精度や頑健さを確保するためには，一般的に処理アルゴリズムが複雑化してしまい，処理に時間を要するものとなる。逆にアルゴリズムを簡略化した場合は，精度が低下し，例えば手動でのデータ修正や，パラメーターを変更して再度解析を行うといった対応が必要となる。つまり，高精度化と処理時間はトレードオフの関係にあり，競技の進行や制作ワークフロー，番組演出などを考慮しながら，このトレードオフが最適なバランスとなるようにシステムを設計することが，スポーツ中継での映像表現技術には求められる。
４．スポーツ映像表現技術の最新動向
３章で述べたとおり，スポーツ中継における映像表現技術は，主に試技の合間の限られた時間で利用されることから，短時間でも理解しやすい直感的な映像表現30) が好都合と言える。本章では，処理時間やスポーツ中継の要件を加味した映像表現技術の最新動向について述べる。
４．１ 高速度カメラを利用したスロー映像リプレイ
直感的に理解しやすい映像表現の代表として，高速度カメラを利用した試技のスロー映像リプレイが挙げられる。スロー映像によるリプレイは，古くから用いられてきた映像表現ではあるが，被写体の見え方はそのままで，時間の進み方だけが変更されるため，映像表現自体の補足説明がほぼ必要なく， 現在でもスポーツ中継で多用されている。2018年12月から本放送が始まった4K・8Kスーパーハイビジョン放送においても，スポーツ中継ではスロー映像が利用されているが，当所では，そのための高速度カメラとして240フレーム／秒で8K映像の撮影が可能なカメラを開発した31)。このカメラは，映像の精細さもあり，放送利用に限らず，スポーツ情報処理技術全般での活用が期待されている32)。
４．２ 多視点映像を用いた映像表現技術の動向
多視点映像を用いた映像表現技術の１つであるタイムスライス撮影による手法においては，２．１節で指摘した画質の課題に対し，多視点カメラの高画質化33) などによる解決が図られている。一方，当所では，２．２節で述べた被写体位置計測技術とタイムスライス撮影を組み合わせ，ボールなどの飛翔体の３次元軌跡の表示と合わせてタイムスライス映像を提示する新たな映像表現手法「Sports 4D Motion」33) を開発した。Sports 4D Motionによる映像表現の例を2図に示す。
また，多視点映像を用いた映像表現技術に関しては，一定のカメラ台数が必要となるため，設置作業に多大な労力がかかるだけでなく，中継会場によっては設置スペースの確保が困難な場合がある。この課題に対しては，カメラ台数を抑制しながら，被写体の３次元空間での位置関係を，選手の一連の動きと合わせて分かりやすく伝える手法「2.5次元マルチモーション」34) を開発した（3図）。この手法は，視点変更範囲に制限が生じるものの，撮影にステレオカメラのみを用いるため，設営が容易で，広い設置スペースを必要としない。処理としては，ステレオカメラで撮影した競技映像から，まず，従来のマルチモーション技術により選手領域を時系列で抽出する。次に，各選手領域の重心位置から三角測量の原理により３次元位置を求め，仮想の３次元空間に各選手領域画像を書き割りとして配置する。これにより，マルチモーション表現として選手の一連の動きを把握しやすくすると同時に，視点変更により，奥行き方向の位置関係も分かりやすく表現可能となった。2.5次元マルチモーションによる映像表現の例を3図に示す。
（「ぐるっとビジョン※」映像にボールの３次元軌跡を合成）
※ 本特集号の報告１を参照。
４．３ 被写体位置計測技術の動向
２．２節で述べた画像解析による被写体位置計測技術に関しては，これまで，事前に機械学習を行った被写体特徴を用いて特定の被写体を追跡する手法が主流であったが，アルゴリズムの工夫や計算機の能力向上により，逐次型の機械学習による追跡がリアルタイムで可能になっている。これまでスポーツ中継での利用が困難であった見え隠れする被写体の追跡が，この逐次型の機械学習手法を導入することで頑健かつリアルタイムに可能となっている。例えば，カーリング競技でのストーン軌跡の可視化35) を，逐次型の機械学習手法を応用して可能にしている。
ドップラーレーダーを利用した被写体位置計測技術の応用に関しては，例えば，ゴルフ競技では，得られた弾道情報から軌跡表示が行われている。近年では，弾道情報だけでなく，ボールが回転した際に，回転角速度に応じた送信波に対するボール各部位の相対速度の差異を利用し，回転数の計測36) を可能としている（4図）。さらに，反射波を複数のアンテナで受信することにより，回転軸も計測可能であり，この原理を利用して，TRACKMAN21)などが野球やゴルフなどの競技に利用されている。
しかしながら，レーダーを利用する手法は，２．２節で指摘した複数設置や，コスト，計測遅延などの課題がある。これらの課題に対して，当所では，ステレオカメラで撮影した映像上のボール位置をニューラルネットワーク*8 により特定し，得られた位置情報から，３次元飛翔軌道方程式37) を用いて軌跡を推定する手法を提案した38)。この手法は，装置の複数設置が可能で，安価かつ低遅延であることが特長であり，ボールの打ち出し地点と落下地点の双方で計測することで，推定軌道に対する風やボール回転による誤差を低減している。詳細については，本特集号の報告３「３次元飛翔軌道方程式に基づくゴルフ軌跡表示システムの開発」を参照していただきたい。
被写体位置計測技術に関しては，位置計測や選手特定の精度向上が進められる一方で，例えば，サッカーの競技映像から抽出した特徴量（選手・ボールの位置や選手間の距離などの情報）を利用し，ファウルやシュート，ゴールキックといったイベント39)40) や戦術41) の推定手法などが提案されている。鈴木らの手法41) では，陣形を考慮した特徴量を用い，LSTM（Long Short-Term Memory：長短期記憶）ネットワーク43)*9 を用いることで，３種類の基本戦術を精度よく認識可能としている。
５．将来展望とまとめ
本稿では，スポーツに関する映像表現技術全般に関する現状を示すとともに，スポーツ中継における課題，スポーツ映像表現技術の最新動向について解説した。
多視点映像を利用した映像表現技術は，スポーツ分野だけではなく，現在ホットなAR，VRの分野や，将来の３次元テレビのコンテンツ制作においても重要な基盤技術になっていくものと考えられ，高画質化，高速化などの課題を中心に，引き続き国内外の研究機関で活発に研究が進められると予想される。
被写体位置計測技術については，４章で述べたように高精度化・頑健化が進む中で，イベントや戦術の推定など，より高次のメタデータに変換する技術が研究開発されており，映像表現だけではなく，状況に基づく映像検索やロボットカメラの自動制御などへの活用が期待できる。
近年では，生活活動量計などのIoT（Internet of Things）技術も含めたスポーツ情報処理技術が一般ユーザーへ浸透していく中で，競技団体側でもそれらの技術の導入が積極的に検討されている。このような状況変化は，スポーツ映像表現技術の研究開発の方向性に大きく影響を与える可能性もあり，競技団体の動向把握も重要と言える。
また，スポーツ競技には，マイナーな競技を含め，膨大な種目が存在する。一方で，視聴者ニーズの多様化も拡大を続けている。これらに応えていくには，例えば，競技の状況に基づき番組を自動制作する技術44) やIP（Internet Protocol）制作技術45) など，効率的な番組制作手法の研究開発も有効と考える。本稿で述べた個別の技術だけではなく，このようなアプリケーションや番組制作技術などの研究開発も重要となっていくと予想される。
当所におけるスポーツ映像表現技術の研究開発においては，ハイビジョン放送の番組制作だけではなく，ハイブリッドキャストや4K･8Kスーパーハイビジョン，さらにはセカンドスクリーンなどへの活用も視野に，今後も，より分かりやすく，詳しく，魅力的に情報を伝えられる手段となるように，更なる改善を図っていく。