自撮りが自撮りじゃなくなる「Unselfie」

自撮り

スマホで自撮りするときって手を伸ばして背景と自分をうまく構図に入れながら撮影しますよね。

その時、どうしても伸ばした腕が写ってしまいます。
自分の腕が消えてくれればより自然になるのにって思ったことはありませんか?

Unselfie(アンセルフィー)

Adobe Research、米カリフォルニア大学バークレー校、ベルギーのルーベン・カトリック大学の研究チームが別の撮影者が撮影したポートレート写真風に変換する「Unselfie」(アンセルフィー)を開発しました。


実際の処理としては、カメラを持った腕を下に移動させ、肩と胴体の位置関係を調整し、空いてしまった背景をうまく補完するといった作業を処理しています。

処理工程は3段階

image:esat.kuleuven.be

  1. 自撮り画像の胴体上部のポーズに近いニュートラルなポーズを見つけ、2つのポーズ間の対応関係に基づいて、自撮り画像のピクセルを目標ポーズの可視領域にマッピングする。
  2. 人体のテクスチャを合成するための座標ベースのインペイントモデルを学習する。
  3. 最終段階では、ポーズの変化に伴う身体領域の細部の合成と不自然な部分の修正、背景の穴埋め、合成した身体を元の画像に合成するための学習を行う。

image:esat.kuleuven.be

学習データとして、同じ場所、同じ人物、同じ服装でのセルフィーと自然な写真の2枚を入手することは難しいため、相当な数の自撮り画像とポートレイトを用意し、元の自撮り画像と似たようなポートレイト写真への変換が行われるように学習させるようにしています。

【おまけ】アクロバティック自撮り

CCBot/2.0 (https://commoncrawl.org/faq/)   

関連記事

51 3
鼻の紋様=鼻紋 ワンちゃんを飼っていらっしゃる方はご存知かと思いますが、犬の鼻は人間の指紋と同じように1頭ずつ異なることに着目した個体...
1152 4
よくぞ金曜日までたどりつきました! 東京は昨年より8日早く梅雨入りしました。早く入ったのなら、早く終わってほしいものです。個人的に...
46 1
SNSなどの投稿で自撮りをすることがあるかと思いますが、工事作業現場の写真を必ず自撮りで送ってくる外国人が話題となっています。 ガーナ...
69 3
デジタルヒューマン 「太陽にほえろ!」、「探偵物語」、「蘇える金狼」などで活躍した松田優作がデジタル化された姿で蘇ろうとしています。 ...
731 3
10月27日と28日に行われたAdobeMAXの開催に合わせ、Adobe Creative Cloudの各製品がバージョンアップされまし...
230 3
ちょっと前に鬼滅の刃で使用されたフォント3書体についての記事を掲載しましたが、「Adobe Fonts」にも「鬼滅の刃」で使用されたフォ...
1138 3
「わたしたち、実はいないんです。」 のキャッチコピーで話題になった「INAI MODEL」。 実在する人物の写真を許可を得た...
537 2
自分の声、気になりませんか? 自分の声が好きな人って、どれ位いるのでしょうか? たまにスマホで動画を撮ったあとに自分の声を聞いて、や...