スタッフブログ

よるドラ「きれいのくに」最新AIで微細な表情を再現!VFXチーム制作後記

稲垣吾郎さんにそっくりの高校生?!街には稲垣吾郎さん・加藤ローサさんの顔をした人がいっぱいいる?!と話題になった、「きれいのくに」のCG映像。実はドラマ番組では初(?!)のAI(人工知能)を利用した技術が導入されています。VFXチームの角田春奈ディレクターと、岑村春香デザイナーに制作の裏側を聞きました。

kireinokuni_vfx_4.jpg


ゼロからの挑戦でこだわったのは繊細な演技の再現

岑村(みねむら):私たちもAI(人工知能)を使ったCGは今回が初の試みで、ソフトの知見もゼロというところから着手したので、全てが手探りでしたね。

角田(つのだ):よく誤解されるのですが、AIでの顔入れ替えの制作は別に効率がいいわけでも、手間がかからないわけでもないんです。そこは何度も制作陣に伝えました。AIは万能じゃないよって(笑) CG技術には、これまで培われてきた多様なアプローチがあります。従来の手作業であれば、ある程度の先が読めるので、「きれいのくに」でも、当初はそういった手作業のウェイトを高くしようと思っていました。

でも打ち合わせを重ねるうちに、今回のドラマが目指す世界の表現には、従来のやり方では追いつかないことがわかってきて。最後には、『よるドラはチャレンジングな枠だから、CGもチャレンジしようよ』という演出の西村さんの言葉に背中をおされる形で、CGの大部分をAIで作ることになりました。

岑村:「大量に“同じ顔”の自働生産ができるから」、ということではなく「いかに俳優さんの演技を丁寧に、忠実に追えるか」ということを考えたときに、人間の表情の繊細な動きを再現できるのが、AIだったんです。

 

撮影したカット総数は2万枚!

角田:事前に稲垣吾郎さんや加藤ローサさんの顔のパーツを細かく撮影した素材を”ソース” 、実際のロケ現場で収録する秋元龍太朗さんらの演技の映像を”デスティネーション”と呼んでいます。稲垣さんの顔の素材(ソース)を、秋元さんの中山役のお芝居(デスティネーション)にうまく合成させることができたら成功です。

今回、稲垣さんと加藤さんには、検証テストの段階から参加してもらいました。通常の顔、笑った顔、怒った顔、まばたき、「あいうえお」母音を発音した状態で静止してもらったり、セリフを読んでもらったり、顔を回してもらったり、様々な表情を撮らせてもらいました。

通常のドラマ撮影にはないことで、大変だったと思いますが、稲垣さんも「その世界の流行りの顔に選ばれたということは光栄なことだよね(笑)」。と言ってくれ、加藤さんや秋元さんらキャストのみなさんが今回の挑戦を面白がって参加してくれたのがありがたかったですね。

kireinokuni_vfx_1.jpg(AIが作った稲垣さんと秋元さんの顔を合成している様子)

角田: AIというと、俳優さんがいなくても自動で演技が生成されるのでは?と思われるかもしれませんが、そんなことはなくて、逆に俳優さんの力がより求められることになります。各人の持っている表情の種類や演技力があらわになるんです。

岑村:もし自然で豊かな人間の表情の画面が出来上がったとしたら、それだけ豊富なソース(素材)があったからということなんです。1度目の顔の素材撮影のあとでテスト映像を作って検証し、足りなかったソースを2度目でまんべんなく撮ることで、お芝居の再現の精度があがりました。最終的には稲垣さん、加藤さんそれぞれ2万枚ほどのソースをストックして合成作業に臨みました。ひとくちに『笑った顔』と言っても、稲垣さんは笑った顔の種類をたくさんもっていて、俳優としての力量を見せつけられました。

角田:デスティネーションの方は、撮影に入る前に、制作の皆さんに向けて、こういう撮り方をしてくださいと説明させてもらいました。顔は影を落とさないで45度以内の動きにしてくださいとか、小さすぎるとAIが認識できないとか、あんまり頭を動かさないでくださいとか…。

岑村:でも…(笑)

角田:現場でもカットごとに「使えそうですか?」と聞いてくれたり気を使ってくれていたのですが、秋元さんの白熱の演技に、スタッフも食らいつくようにカメラを回して…と緊迫していくと「もうこれは止められないよね」という場面もありました(笑)

 

AIの学習効果で“中山くん”の顔が放送のたびに進化している?!

角田:ところで、放送が進むごとに”中山くん”の表情が変化していること、お気づきでしょうか?

kireinokuni_vfx_3.jpg(よるドラ「きれいのくに」第6話より)

岑村:最初は1分のシーンを作るのに3日間くらいかかっていました。 基本的にはAIが素材となる画像を読み込んで学習するのを大体80〜100万回繰り返させると、演技の再現に近づきます。でも100万回以上やっても映像に結実しないことがあり、最初の頃はどう学習させたらうまくお芝居をすくい、再現できるのか、試行錯誤でした。

角田:それが今では2〜3時間で結果が出るようになりました。AIも学習しましたが、人間も経験を蓄積して、AIを手なづけてきたという方が正しいかもしれません。

岑村:そうですね。狙った表情を作ろうと思ったら、2万枚のソースから適切なカットを選んで、AIに学習させることになります。「この子(シーン)には、このデータをあげれば伸びるぞ」とか、勘所をつかめるようになりました。色々試したのですが、ある時、これまでの放送回のデータを再学習させることで、精度が飛躍的に上がり時間も大幅に短縮できることがわかって、それがブレイクスルーでした。

kireinokuni_vfx_10.jpg

角田:3・4話の作業で苦しんだ結果が後半になるにつれて実を結んでいますね。回を追うごとに、”中山くん”の稲垣吾郎さん度が上昇しています(笑)

 

個性を作るのは、ほんとうに顔?

岑村:できあがった映像を見るまで、”トレンド顔”の人々はもっとクローンのように見えるのかと思いきや、その人の土台の個性みたいなものが際立つことに気づきました。

角田:そう!顔のパーツを入れ替えただけでは稲垣吾郎さんになれないんです。その人の醸し出す個性が出るんですね。話し方、表情の作り方、しぐさ、体型…。ヘアスタイルにしても、もみあげがあるだけで稲垣さんではなくなってしまう。いくら顔を変えても、稲垣吾郎さんらしい演技・雰囲気でないと稲垣吾郎さんに見えない。何を持ってその人になっているかというと、実は顔だけではないというのは、ものすごい発見でした。

kireinokuni_vfx_5.jpg

角田:これまでAIを使った顔の合成技術は、フェイクニュースに使われたり、あまりポジティブな使われ方をしていなかった例が多かったように思います。また、演説など対象人物が正面を向いて作られているケースが多いので、今回の”中山くん”のように光や影など撮影環境が変わる中で歩いたり振り向いたり、泣いたり、こんなに自由に動いている対象のAI処理をしている番組ってないのではないでしょうか。

残りわずかな放送ですが、AIの技術にも注目しつつ(笑)、最後までお楽しみください!


NHKアート デジタルデザイン部
よるドラ「きれいのくに」VFXチーム 代表

kireinokuni_vfx_7.jpg

VFXディレクター 角田春奈 
チーフコンポジター 吉田秀一
VFXデザイナー 岑村春香


 【関連記事】
よるドラ「きれいのくに」男子高校生3人! 青木柚さん、山脇辰哉さん、秋元龍太朗さんインタビュー

kireinokuni_int_210521_OG1.jpg

"トレンド顔"の中山を演じた秋元龍太朗さんらが「きれいのくに」の撮影をふりかえり!


よるドラ「きれいのくに」

kireinokuni_hero.jpgのサムネイル画像

【放送予定】
総合 毎週月曜 よる10時45分から11時15分
放送から1週間、NHKプラスで見逃し配信!

【作】
加藤拓也
【音楽】
蓮沼執太
【出演】
吉田羊 蓮佛美沙子 平原テツ 小野花梨 橋本淳 加藤ローサ/  
青木柚 見上愛 岡本夏美 山脇辰哉 秋元龍太朗 /稲垣吾郎
【制作統括】
訓覇圭  
【プロデューサー】
小西千栄子 高橋優香子
【演出】
西村武五郎 鹿島悠 田中陽児 加藤拓也

投稿者:スタッフ | 投稿時間:22:47 | カテゴリ:きれいのくに

新着記事

新着ブログ

月別から選ぶ

2021年

開く

2020年

開く

2019年

開く

2018年

開く

2017年

開く

2016年

開く

2015年

開く

2014年

開く

放送終了番組

開く
ページトップへ