唇の動きと発話音声から、映/音のズレを自動的に補正
リップシンク自動補正システム(TuLIPS)
 
●背景と目的
 急速に進展するデジタル化のなかで、映像と音声を別々に処理することが多くなり、映像と音声の間に時間的なズレが発生し、番組の制作や送出に影響を与えることが多くなってきています。
 今回、唇の動きと発話音声をもとに、映像と音声のズレを簡単な操作で高精度に補正できる「リップシンク自動補正システム(チューリップ:TuLIPS*)」を開発しました。

●特徴
 これまで、映像と音声のズレを補正するため、幾つかの手法が提案されてきました。これらは、映像と音声信号に規準信号を挿入し、事前にズレがないように調整しておくものでした。そのため放送中にズレの量が変化する場合などには使用できなかったり、音質に影響を与えてしまうなどの問題がありました。また、送信側と受信側にそれぞれ装置を必要とし、システムが煩雑になるなど多くの問題点をかかえていました。

 TuLIPSは、映像音声の中に特別な規準信号を挿入することなく、映像と音声信号そのものから、それらのズレを自動的に計測し補正します。また、従来手動で行っていたのに比べ、高精度な補正が行えます。本体は高さ1U(44mm)と小型ですので、中継車やロケ現場でも使用できます。

●今後の予定
 NHKではデジタル時代に向け、今後も効果・効率的な業務の推進に対応できる新規システムの開発を積極的に進めていきます。

* TuLIPS(チューリップ): Tuning LIP Synchronization



図 リップシンク自動補正システム(TuLIPS)
   
Copyright 2001 NHK (Japan Broadcasting Corporation) All rights reserved. 許可なく転載を禁じます。