写真の顔をディープラーニングでリアルにアニメーション

「Deep Nostalgia」

iamge:©MyHeritage Ltd.

家系図の作成サービスを手掛けるイスラエルのMyHeritageから、古い写真の顔をディープラーニング技術でリアルに動かせる「Deep Nostalgia」がリリースされました。

MyHeritageはこれまでにも、古いモノクロ写真やカラー写真をシャープなカラー写真に変換するサービスを提供していました。

家族写真のように複数の人が写っている写真では、1人しか動かすことができないので動きを入れたい顔を選択し、用意されている複数の「ドライバー」動画を選択すると、そのドライバーと同じ動きをするようになります。作成できる動画は数秒程度ですが、スマホのライブ撮影のような自然な動きを再現できます。

ディープフェイク動画（対策済み）

この「Deep Nostalgia」ではどんな写真でも動かせるので、当然生きている人のディープフェイク動画も作成できるため、悪用を防ぐために音声は追加できないようになっています。また、左下部にリアルではないことが分かるようアイコンが表示されます。

Mark Twain, colorized, enhanced, and then animated, all on @MyHeritage ! We’re very proud to be a part of their efforts to bring state of the art deep learning to everyday users, with great results. pic.twitter.com/D9RMzqQPbU

— DeOldify (@DeOldify) February 26, 2021

この「Deep Nostalgia」は、イスラエルの顔認識技術企業、D-IDの「Live Portrait」という技術を採用したもので、Live Portraitは音声も追加でき、あたかも本人が話しているような動画を作成できます。MyHeritageが公式YouTubeサイトで公開した使ったリンカーン大統領の動画はLive Portraitによる作品です。