自撮りが自撮りじゃなくなる「Unselfie」

自撮り

スマホで自撮りするときって手を伸ばして背景と自分をうまく構図に入れながら撮影しますよね。

その時、どうしても伸ばした腕が写ってしまいます。
自分の腕が消えてくれればより自然になるのにって思ったことはありませんか?

Unselfie(アンセルフィー)

Adobe Research、米カリフォルニア大学バークレー校、ベルギーのルーベン・カトリック大学の研究チームが別の撮影者が撮影したポートレート写真風に変換する「Unselfie」(アンセルフィー)を開発しました。


実際の処理としては、カメラを持った腕を下に移動させ、肩と胴体の位置関係を調整し、空いてしまった背景をうまく補完するといった作業を処理しています。

処理工程は3段階

image:esat.kuleuven.be

  1. 自撮り画像の胴体上部のポーズに近いニュートラルなポーズを見つけ、2つのポーズ間の対応関係に基づいて、自撮り画像のピクセルを目標ポーズの可視領域にマッピングする。
  2. 人体のテクスチャを合成するための座標ベースのインペイントモデルを学習する。
  3. 最終段階では、ポーズの変化に伴う身体領域の細部の合成と不自然な部分の修正、背景の穴埋め、合成した身体を元の画像に合成するための学習を行う。

image:esat.kuleuven.be

学習データとして、同じ場所、同じ人物、同じ服装でのセルフィーと自然な写真の2枚を入手することは難しいため、相当な数の自撮り画像とポートレイトを用意し、元の自撮り画像と似たようなポートレイト写真への変換が行われるように学習させるようにしています。

【おまけ】アクロバティック自撮り

関連記事

40 2
自分の声、気になりませんか? 自分の声が好きな人って、どれ位いるのでしょうか? たまにスマホで動画を撮ったあとに自分の声を聞いて、や...
77 1
Instagram 「すでに亡くなったあの人がまだ生きていたら」という発想から、人工知能AIを活用して、実現された有名人の画像がSNS...
257 1
フリー素材を取り扱うACワークス(株)から2人の間に生まれてくる赤ちゃんの顔(あくまでAIが作ったもの)が生成されるアプリ(WEB)「赤...
115 1
「Deep Nostalgia」 iamge:©MyHeritage Ltd. 家系図の作成サービスを手掛けるイスラエルのMy...
181 1
今日は、写真やイラストなどの素材サイトを運営するACワークス株式会社の、顔だけ別人にする画像合成サービスをご紹介したいと思います。 ...
427
 Internet of Things(IoT)ではなくIoT( Internet of toilet) IoTという、身の回りものが...