Technology

願い

みなさんに投稿して頂いた、たくさんの写真がまるで星のように散りばめられ、美しいシーンとなった「願い」。今回、「Reframe」のために、Perfumeの今までのミュージックビデオの映像を画像として抽出して解析し、みなさんに送って頂いた写真と似通ったイメージを探し出すシステムを開発しました。画像の特徴をあぶりだし、ミュージックビデオのあらゆるシーンと対比させることで機械が”近い”と判断したイメージがピックアップされています。

(上)投稿された画像の解析結果 (下)機械が”近い”と判断したミュージックビデオのイメージ
(上)投稿された画像の解析結果 (下)機械が”近い”と判断したミュージックビデオのイメージ
投稿された画像と類似しているイメージの類似度
投稿された画像と類似しているイメージの類似度
近似画像検索
投稿された写真とミュージックビデオの画像が”似ている”という判断をするために「近似画像検索」が行われたそうですが、具体的にどのようなことが行われているのでしょうか?
機械学習の例としてよく上げられる、画像に何が写っているかを判定するシステムの一つをベースに「近似画像検索システム」を開発しました。開発のベースとなった画像判定システムは、画像から機械的に特徴を見つけ出し、その特徴を例えばproduct、girl、eventなど「あるモチーフ」の名前と結びつけて、解析していくシステムです。今回は投稿された画像の「あるモチーフ」と結びつける前の段階の、特徴の数値を比較することで、投稿された画像とPerfumeのMVの特徴の一致度を計算し、類似度の高いものを「似ている」とする判定を行っています。こうして、みなさんの投稿画像は、全1万枚ほどのMVのシーン画像から、一番似ているものを選びマッチングされているのです。
曲が始まる前の、MVをタイルのように並べた画像はどのようなルールで並んでいるのでしょうか?
近似画像検索と同様に、特徴を数値化したデータを使っています。具体的には、MVを1秒ごとに切り出した画像から、一枚ごとに2048個の特徴の数値を求め、この数値が近しいものが位置関係として近くなる様に並べています。このような要素数の多い情報は、そのままでは人間が見ることはできません。人の目に見える形にするために、一般的に「次元削減」という手法が取られます。2048個の値の組み合わせを、関係性を保ちつつ2個か3個の値の組み合わせまで変換し、人の目でわかる次元数として表現するというものです。今回は、次元削減に「t-sne」という手法を採用しました。グリッドへの最適な配置は「lapjv」というアルゴリズムで計算して、並び方を決めています。
PAGE TOP