GoogleのAIが「ムービーの最初と最後のコマ」から途中のコマを生成することに成功 - GIGAZINE

GoogleのAI研究チームが査読前論文の公開サイトarXivに掲載した論文によれば、新たに開発したAIでムービーの最初と最後のコマだけを手がかりに、抜け落ちた途中のコマを生成することに成功したそうです。

From Here to There: Video InbetweeningUsing Direct 3D Convolutions
(PDFファイル)https://arxiv.org/pdf/1905.10240.pdf

Google's AI can create videos from start and end frames alone | VentureBeat
https://venturebeat.com/2019/05/28/googles-ai-can-create-videos-from-start-and-end-frames-alone/

AIの研究を行っているGoogle Researchの研究者であるYunpeng Li氏、Dominik Doblek氏、Marco Tagliasacchi氏は、ムービーの最初と最後のコマから、もっともらしいムービー途中のコマを生成するAIを開発しました。

開発されたAIは動物の視覚皮質を参考にしたディープニューラルネットワークで構成されており、2次元畳み込みイメージデコーダー、3次元畳み込み潜在表現ジェネレーター、そしてビデオジェネレーターといった要素からなっています。最初に画像デコーダーが最初と最後のコマを潜在的空間にマッピングし、潜在表現ジェネレーターが入力フレームの情報を学習、最後にビデオジェネレーターが途中のコマを生成するとのこと。

by geralt

研究者らは3つのサンプルムービーを用いて、開発したAIの性能を実験したそうです。各サンプルは16コマからなる短いムービーであり、コマあたりの解像度を64×64ピクセルに下げた状態でした。このムービーから抽出した最初と最後のコマだけをAIに与え、途中の14コマを生成させました。

AIは各サンプルムービーについて100回モデルを実行し、モデルを修正して同じプロセスが10回ほど繰り返されました。実験はデータGPUのNvidia Tesla V100を用いて行われ、合計で5日ほどかかったとのこと。

実験の結果作られた3本のムービーで、AIが作成したコマと実際のコマをそれぞれ比較したのが以下の画像です。各ムービーについて、上の列がAIによって生成されたコマであり、下の列が実際のムービーから抽出したコマ。AIによって生成されたコマと実際のコマにそれほど大きな違いはないように見えます。

研究者らは「マンガのコマから自動でアニメーションを作ることができるシステムを想像してみてください。間違いなくアニメーション業界に革命を起こすでしょう」と述べています。記事作成時点では、AIにマンガのコマからきれいなアニメーションを作るほどの能力はなく、技術が追いついていませんが、AIの進歩によってアニメーション業界の省力化も具体的な目標となりつつあるとしました。

この記事のタイトルとURLをコピーする

・関連記事
Googleが映像からリアルタイムで動く人物を消し去る技術を開発、ムービーが公開中 - GIGAZINE

Samsungが1枚の写真や絵画からリアルな会話アニメーションを作成できる技術を開発 - GIGAZINE

Googleが機械学習を用いて「物を投げること」を理解するロボット「TossingBot」を開発 - GIGAZINE

写真をアニメキャラクターに変換できる技術が登場 - GIGAZINE

AIを用いてアニメキャラクターの高解像度画像を生成しアニメーションまでつける「PSGAN」をDeNAが発表 - GIGAZINE

現実の人間とAI製の顔画像を見抜けるかどうかテストする「Which Face is Real？」レビュー - GIGAZINE

Googleが言語モデルを使わずに高精度な自動音声認識を可能にする「SpecAugment」を開発 - GIGAZINE

・関連コンテンツ

Tweet

Let's block ads! (Why?)

https://gigazine.net/news/20190529-ai-video-start-end-frames/

2019-05-29 04:06:00Z
CAIiEM-7_P4w1QW0_zqsq4C5ONcqFwgEKg8IACoHCAow5qKhAjD39D8wgNdJ

Bagikan Berita Ini