AIアートジェネレーターに強気な人々が用いる主な言い訳の一つは、モデルは既存の画像で学習されているものの、生み出すものはすべて新しいものだというものです。AIの伝道師たちは、これらのシステムを現実世界のアーティストに例えることがよくあります。クリエイティブな人は、先人たちからインスピレーションを得ているのですから、AIが同じように過去の作品を想起させることができないのはなぜでしょうか？
しかし、私たちの新しい論文では、拡散モデルがトレーニング データから画像を記憶し、生成時にそれらを出力することを示しています。
論文: https://t.co/LQuTtAskJ9
👇[1/9] pic.twitter.com/ieVqkOnnoX
— エリック・ウォレス（@Eric_Wallace_）2023年1月31日
このツイートの最初の画像は、Stable Diffusionのデータセット（LAIONとして知られる数テラバイト規模のスクレイピング画像データベース）に掲載されているキャプションを使用して生成されました。研究チームはこのキャプションをStable Diffusionのプロンプトに入力すると、デジタルノイズでわずかに歪んでいるものの、全く同じ画像が出力されました。これらの重複画像を見つけるプロセスは比較的単純でした。研究チームは同じプロンプトを複数回実行し、同じ画像が得られた後に、その画像がトレーニングセットに含まれているかどうかを手動で確認しました。
論文の研究者であるカリフォルニア大学バークレー校の博士課程学生エリック・ウォレス氏とプリンストン大学の博士課程候補者ビカシュ・セワグ氏は、GizmodoのZoomインタビューで、画像の重複はまれだと語った。彼らのチームは約30万種類のキャプションを試したが、記憶率はわずか0.03%だった。訓練セット内の画像の重複を排除するStable Diffusionのようなモデルでは、コピーされた画像はさらに稀だったが、最終的にはすべての拡散モデルが程度の差はあれ同じ問題を抱えることになるだろう。研究者たちは、Imagenがデータセット内に一度しか存在しない画像を完全に記憶できることを発見した。
「ここでの注意点は、モデルは一般化することになっており、記憶したバージョンを吐き出すのではなく、新しい画像を生成することになっているということです」とセワグ氏は述べた。
彼らの研究によると、AIシステム自体が大規模かつ高度化するにつれて、AIがコピーされたデータを生成する可能性が高くなることが示されました。安定拡散モデルのような小規模なモデルでは、学習データの大部分を保存できるほどのストレージ容量がありません。これは今後数年で大きく変化する可能性があります。
「おそらく来年、もっと大きくてもっと強力な新しいモデルが登場すれば、こうした暗記のリスクは現在よりもはるかに高くなるだろう」とウォレス氏は語った。
拡散ベースの機械学習モデルは、学習データをノイズで破壊し、その歪みを除去するという複雑なプロセスを経て、学習に使用したデータ（この場合は画像）に類似したデータを作成します。拡散モデルは、生成的敵対的ネットワーク（GAN）ベースの機械学習から進化したものです。
研究者らは、GAN ベースのモデルでは画像の記憶に関して同様の問題は発生しないことを発見したが、よりリアルで高品質の画像を生成するさらに洗練された機械学習モデルが登場しない限り、大手企業が Diffusion を超える可能性は低いだろう。
— フロリアン・トラマー (@florian_tramer) 2023 年 1 月 31 日
記憶率がわずか0.03%であることを考えると、AI開発者はこの研究を参考に、リスクはそれほど大きくないと判断できるだろう。企業はトレーニングデータ内の画像の重複を排除し、記憶される可能性を低くする取り組みを行うことができるだろう。あるいは、トレーニングデータ内の画像を直接複製した画像を検出し、削除対象としてフラグを立てるAIシステムを開発することさえ可能だ。しかし、これは生成AIがもたらすプライバシーへのリスクを完全に覆い隠してしまう。Carlini氏とTramèr氏は、データをフィルタリングしようとしても、モデルを介したトレーニングデータの漏洩を防ぐことはできないと主張する最近の別の論文にも協力した。
そしてもちろん、誰も複製したくない画像がユーザーの画面に表示されるリスクは高い。ウォレス氏は、例えば研究者が人々のX線写真から大量の合成医療データを生成したいと考えている場合、拡散型AIが個人の医療記録を記憶し、複製したらどうなるだろうかと問いかけた。
「これはかなり稀なケースなので、最初は気づかないかもしれません。そして、実際にこのデータセットをウェブ上に展開してしまうかもしれません」と、カリフォルニア大学バークレー校の学生は述べた。「この研究の目的は、人々が犯しがちなこうしたミスを未然に防ぐことです。」
