自撮りが自撮りじゃなくなる「Unselfie」

自撮り

スマホで自撮りするときって手を伸ばして背景と自分をうまく構図に入れながら撮影しますよね。

その時、どうしても伸ばした腕が写ってしまいます。
自分の腕が消えてくれればより自然になるのにって思ったことはありませんか？

Unselfie（アンセルフィー）

米Adobe Research、米カリフォルニア大学バークレー校、ベルギーのルーベン・カトリック大学の研究チームが別の撮影者が撮影したポートレート写真風に変換する「Unselfie」（アンセルフィー）を開発しました。

実際の処理としては、カメラを持った腕を下に移動させ、肩と胴体の位置関係を調整し、空いてしまった背景をうまく補完するといった作業を処理しています。

処理工程は3段階

image:esat.kuleuven.be

1. 自撮り画像の胴体上部のポーズに近いニュートラルなポーズを見つけ、2つのポーズ間の対応関係に基づいて、自撮り画像のピクセルを目標ポーズの可視領域にマッピングする。
2. 人体のテクスチャを合成するための座標ベースのインペイントモデルを学習する。
3. 最終段階では、ポーズの変化に伴う身体領域の細部の合成と不自然な部分の修正、背景の穴埋め、合成した身体を元の画像に合成するための学習を行う。

image:esat.kuleuven.be

学習データとして、同じ場所、同じ人物、同じ服装でのセルフィーと自然な写真の2枚を入手することは難しいため、相当な数の自撮り画像とポートレイトを用意し、元の自撮り画像と似たようなポートレイト写真への変換が行われるように学習させるようにしています。

【おまけ】アクロバティック自撮り

彼氏に撮ってもらった。てへ pic.twitter.com/BLzUHWkYYS

— ヴィエンナ (@ViennaDoLL) October 18, 2020