ディズニーは、俳優を自動的に若く(あるいは老けて)見せる映画品質のAIツールを開発した

ディズニーは、俳優を自動的に若く(あるいは老けて)見せる映画品質のAIツールを開発した

ディズニーの研究者らは、映像をフォトリアリスティックに変えるという点における人工知能の威力をさらに実証するものとして、複雑で高価な視覚効果作業を何週間もかけることなく、俳優を本物らしく老けさせたり若返らせたりできる新たなエイジング/ディエイジングツールを公開した。

2018年の『アントマン・アンド・ザ・ワスプ』のような大ヒット映画を観ると、アントマンが小さくなったり巨大化したりする派手なシーンで、多くのVFXスタジオがこれらの作品に関わっていることがほとんどの観客にはすぐにわかる。しかし、俳優のミシェル・ファイファーやマイケル・ダグラスの若い頃のショットのように、より繊細なVFX作業こそが、フォトリアリスティックな結果を実現するのが最も難しい場合がある。映画で見られるような結果を得るために、才能あるアーティストは、俳優の顔からしわやその他の老化の兆候を消すのに何週間も費やすか、コンピューター生成の分身で完全に置き換える必要がある。

視覚効果は映画制作において強力なツールですが、その制作をより容易にする方法を見つけるべき理由は数多くあります。例えば、既に過重労働で低賃金に苦しむアーティストの負担を軽減することから、ハリウッドのような巨額の予算で制作していない映画制作者にもツールを利用できるようにすることまで、様々な理由があります。もちろん、大手スタジオにとっても、この種の作業を自動化することは利益につながるという目的があります。

だからこそ、ディズニーのような企業は視覚効果の技術向上を支援する研究に投資しているのですが、近年、これらの研究者たちは人工知能によってVFX作業をいかに簡素化できるかについても研究を重ねています。2年前、ディズニー・リサーチ・スタジオは、プロの映画制作に使用できるほどの画質と解像度を持つフェイススワップ動画を生成できるAI搭載ツールを開発しました(インターネットで共有されているような低解像度のGIFではなく)。今年、研究者たちはAIの技術を活用して俳優を老けさせたり若く見せたりする新しいツールを披露しています。これにより、通常はそのようなショットを完璧に仕上げるのに数週間かかる作業が不要になります。

ニューラルネットワークと機械学習を使用して人を若返らせたり、若返らせたりする試みは既に行われており、静止画像に適用した場合は十分に説得力のある結果が得られたが、動画では写真のようにリアルな結果は得られず、フレームごとに一時的なアーティファクトが現れたり消えたりし、変更された動画を再生すると人の外見が認識できなくなることもあった。

ハリウッドの要求に応え、動きのある映像や俳優が常にカメラを向いているわけではないショットにも対応できる柔軟性を備えた年齢を変化させるAIツールを開発するため、ディズニーの研究者たちは、最近発表された論文で詳述されているように、まず数千のランダムに生成された合成顔のデータベースを作成した。次に、既存の機械学習老化ツールを用いて、これらの数千の実在しない被験者の年齢を加齢変化させたり若返らせたりし、その結果を用いてFRAN(face re-aging network)と呼ばれる新しいニューラルネットワークを学習させた。

スクリーンショット: YouTube - DisneyResearchHub
スクリーンショット: YouTube – DisneyResearchHub

FRAN にヘッドショットを入力すると、FRAN は変更されたヘッドショットを生成するのではなく、加齢によって顔のどの部分が変化するか(例えば、しわの増加や減少など)を予測し、その結果を元の顔に重ね合わせることで、視覚情報の追加チャンネルとして活用します。このアプローチにより、演者の頭部が動いている場合、顔が周囲を見回している場合、あるいはショット内の照明条件が時間とともに変化している場合でも、演者の外見とアイデンティティが正確に維持されます。また、AI によって生成された変更は、アーティストによる調整や微調整が可能であり、これは VFX 作業において重要な部分です。つまり、変更をショットに完全に溶け込ませ、観客には変化が見えないようにします。

Tagged: