つい最近SNS上を賑わせた、キアヌ・リーブスをディープフェイクで再現した動画をご存知だろうか。動画を制作したアメリカ・ロサンゼルスの小規模VFXスタジオCorridor Digitalがメイキング映像を公開したため、ディープフェイクの動画と併せて紹介する。
製作期間は約2週間とのことで、メイキング映像内ではディープフェイク動画を上手く作るための注意点を5つあげている。
■Keanu Reeves Stops A ROBBERY! – ディープフェイク動画
■How We Faked Keanu Reeves Stopping a Robbery – メイキング映像
ディープフェイク動画を作る上でのポイント
１．コスチューム
キアヌは長い髪でしかも生え際がよく見えるようになっている。ウィッグでこれは再現できないため野球帽をかぶることにした。
２．ライティング
一方向からの強いライティングで影ができたりしないように、フラットな下からのライティングにした。そうすることで野球帽の影もできない。
3. 真横からは撮らない
アクターとキアヌの鼻の高さの違いが大きいと違和感が生まれる。そのため顔が真横になるような動きやアングルは避けた。
４．ディープフェイクは低解像度
ディープフェイクは128*128ピクセルしかない。ブラーが掛かったようになってしまうので普通であればクロースアップのショットは撮れない。が、ケータイを使って縦向きで撮影することによってフレームに対して顔を小さくすることができた。
5．トレーニング
AIにキアヌ・リーブスの顔を教え込む。前回作ったトム・クルーズのディープフェイク(後述) の時は10万回計算した。それで十分と思ったけど違った。
今回はかなり多くの違ったアングルのキアヌ・リーブスの顔のサンプル（動画）を用意して10日間連続で教え込んだ。
その後は撮影 → 使用するカットをトラッキングして目や口の位置がずれないような素材を用意する → Faceswapというプログラムを使用して顔を入れ替える → 書き出されたデータをAfterEffectsでコンポジット。
Faceswap上ではワイドショットでは2000回の計算で十分だがクロースアップでは1万5千回の計算が必要だったとのこと。
■We Made The Best Deepfake on The Internet – トム・クルーズのディープフェイク動画
