AIは「さやかの隣には杏子がいる」と学んでいた

画像生成AIに美樹さやかさんのデータを学習させたら、指定してないのに勝手に佐倉杏子さんらしき人物が隣に映り込むようになった、って記事を読んで感動してる
独りぼっちは、寂しいもんな…https://t.co/dkDds6NciT pic.twitter.com/Zx5UZBAY1y

— 三雲岳斗 (@mikumo) September 28, 2022

——まどマギAI画像生成で起きた”奇跡”の仕組みを解説

「泣いた」「朝から涙腺を破壊された」——

2022年9月、こんな声がSNSに溢れました。 きっかけは一つの実験でした。

AI画像生成ツール「Stable Diffusion」に美樹さやかのデータを学習させ、 「マクドナルドで制服を着てご飯を食べているさやか」を出力させたところ—— 指定していないはずの佐倉杏子が、自然に隣に座っていたのです。

なぜAIは、誰も頼んでいないのに、あの子をそこに置いたのでしょうか。

AIは「一緒に描かれる頻度」で関係性を学ぶ

この現象には、ちゃんとした理由があります。

Stable Diffusionのような画像生成AIは、膨大な数の画像とテキストのペアを 学習することで「この言葉が出てきたとき、画面にはどんな要素が多く含まれるか」 を統計的に記憶していきます。

美樹さやかに関するイラストや二次創作画像を見てみると、 佐倉杏子と一緒に描かれているものが非常に多いのです。 ファン界隈では「杏さや」と呼ばれる定番の組み合わせです。

つまりAIは、さやかを描こうとするとき、 「さやかがいる場面には、高い確率で杏子もいる」 という統計的なパターンを自然に学習していたわけです。

作者の方は、この現象をこう表現されていました。

AIは杏子ちゃんのことを「なんか知らんけど さやかさんの隣にいつもいる人」として学習してしまっているようだ。

これはAIの「誤動作」でも「奇跡」でもなく、 むしろAIがファン文化を正確に反映した結果とも言えます。

制服の色が混乱する理由も「共起学習」で説明できる

作者の方は、もう一つ気づいたことを報告しています。

たまに色を間違えたりしている。 杏子ちゃんのパーカーの色とゴッチャになってる気がする。

これも同じ仕組みで説明できます。

「さやか×制服」「杏子×パーカー」という組み合わせが大量に学習データに存在する中で、 二人が一緒に出現する場面では、AIが服の「主」を取り違えてしまうことがあるのです。

左下の生成画像でさやかがパーカーを着ているのは、 AIが二人分の衣装情報を処理しきれなかったためと考えられます。

では、なぜまどかを生成してもほむらは現れないのか

AIがキャラをちゃんと描けるの凄すぎてマジクソビビる。ただし、こんな芸当ができるのは一部のキャラだけっぽい。美樹さやかさんの事はtrinart君は相当うろ覚えだった。まどかちゃんはこんな風にちゃんと描けるクセに。AIオイ！知識の偏り！　→RT pic.twitter.com/zwuAL2mFqA

— 海行プログラム (@kaigyoPG) September 16, 2022

同じ実験で、鹿目まどかを生成しても暁美ほむらは現れませんでした。

まどかとほむらも深い絆で結ばれたキャラクターです。 なのに、なぜ同じことが起きないのでしょうか。

いくつかの仮説が考えられます。

仮説1：ほむらは「まどかの隣」ではなく「まどかを見守る存在」として描かれやすい ほむらが隣に並ぶ構図より、遠くから見守る・背景にいるという描かれ方のほうが多いため、 「まどかの隣」という位置情報として学習されにくい可能性があります。

仮説2：まどかの学習データ量の多さが逆に「ノイズを薄める」 作中でも確認されていますが、まどかはさやかよりAIが認識しやすく、 鮮明に再現できるキャラクターです。 学習データが多いと、特定の組み合わせへの依存度が下がるとも考えられます。

仮説3：さやかと杏子の「並ぶシーン」がより多い 二人は物語終盤まで行動を共にすることが多く、 「横に並んでいる構図」のファンアートが相対的に豊富だった可能性があります。

いずれにせよ、AIの出力にはファン文化の「厚み」が反映されています。

AIが再現したのは技術ではなく、ファンの愛情だった

Twitterではこんな声が上がりました。

「AIの方が我々に寄って来てますね……ニコイチという概念を理解しつつあります！」

AIは意思を持っていません。 でも、さやかと杏子を「一緒に描きたい」と思い続けたファンたちの膨大な作品が、 AIの中に「あの子は隣にいるものだ」という記憶として刻まれていたのです。

技術が進めば、AIはもっと正確にキャラクターを描けるようになるでしょう。 でも、このときAIが「うろ覚え」のまま杏子を隣に置いてしまったことの方が、 なぜかずっと心に残ります。

独りぼっちは、寂しいもんな——。

• AIは「一緒に出現する頻度」で関係性を統計的に学習する

• さやかと杏子が常にセットで描かれるファン文化が、AIの出力に反映された

• まどかにほむらが現れないのは、描写パターンの違いによる可能性が高い

• AI画像生成の「意図しない出力」は、データになった人間の感情の痕跡でもある