「ソーセージがどうやって作られるかなんて知りたくないでしょう。」
おそらくこのフレーズは何度も耳にしたことがあるでしょうが、私はこう言いたいのです。本当に、あなたはそう思っているはずです。少なくとも、そう思うべきです。ソーセージを口に詰め込むなら、誰かがソーセージにおがくずを混ぜたかどうか知りたくないですか？テクノロジーでも同じです。AIによる大規模言語モデルがテクノロジー界を席巻している今、ChatGPTやその他のLLMを作るためにどんなデータが使われているのか、私たちは知りたいはずです。
OpenAIは火曜日、GPT-4モデルをリリースしました。「より高い精度」と「より広範な知識」を備えた、同社がこれまでに開発した中で最も高度なAI言語モデルだと謳っています。しかし、同社の言葉を信じるしかありません。その名前とは裏腹に、OpenAIはフェラーリ級のこの新しい言語モデルの中身を誰でも覗けるようにしているわけではありません。GPT-4とともに発表された論文の中で、OpenAIは次のように記しています。
「GPT-4のような大規模モデルの競争環境と安全性への影響の両方を考慮すると、このレポートには、アーキテクチャ（モデルサイズを含む）、ハードウェア、トレーニングコンピューティング、データセット構築、トレーニング方法などに関する詳細は含まれていません。」
OpenAIの社長グレッグ・ブロックマン氏はTechCrunchに対し、GPT-4がテキストだけでなく画像でも学習していることを確認したが、画像の出所や学習データに関する詳細は明らかにしなかった。OpenAIは、AIアシスタントツール「Copilot」をめぐるGitHubとの提携をめぐり、集団訴訟が提起されていることを反撃している。AI画像生成器の学習に使用された画像に関する訴訟は他にも進行中であり、OpenAIは法的トラブルから身を守ろうとしているのかもしれない。
GizmodoはOpenAIに連絡を取り、その意思決定について詳しく聞き出そうとしましたが、返答はありませんでした。水曜日にThe Vergeのインタビューを受けたOpenAIの共同創設者イリヤ・スツケヴァー氏は、同社が過去にトレーニングデータを公開したことがいかに「間違っていた」かを痛烈に批判しました。彼は、AIをオープンソース化することは競争の激化だけでなく、汎用人工知能（AGI）があまりにも「強力」になるという理由からも「悪い考え」だと述べました。ただし、真の意識を持つ人工知能に相当する技術としてのAGIなど存在しません。あくまで推測の域を出ませんが、OpenAIは既にその段階に達していると考えているようです。
同社は一部のデータを外部監査機関と共有していると述べたが、研究者によるGPT-4の完全な分析結果を目にすることはおそらくないだろう。OpenAIはかつて非営利団体だったが、世界最大のAI勢力となるという壮大な夢を抱き、営利子会社を設立した（OpenAIの元投資家であるイーロン・マスクでさえ、この出来事がどのようにして起こったのか理解に苦しんでいるようだ）。そのため現在、サム・アルトマン率いるOpenAIのAI専門家たちは、「競争力と安全性への配慮と、さらなる透明性の科学的価値を天秤にかける必要がある」と述べている。
GPT-4がどのようなバイアスを持っているかを知る方法はほとんどありません
元歴史学教授で、現在はAIデータセット分析企業Nomicで情報デザイン担当副社長を務めるベン・シュミット氏は、GPT-4のデータセットに関する情報不足は非常に懸念されると述べた。なぜなら、そのデータはAIモデルがどのようなバイアスを持つ可能性があるかを示す手がかりとなる可能性があるからだ。情報がなければ、外部のグループは推測することしかできない。
訓練データの選択は過去のバイアスを反映し、様々な悪影響を及ぼす可能性があります。こうした悪影響を軽減し、モデルをどこで使用すべきでないかについて十分な情報に基づいた判断を行うためには、どのようなバイアスが組み込まれているかを把握する必要があります。しかし、OpenAIの選択はそれを不可能にしています。
— ベン・シュミット / @[email protected] (@benmschmidt) 2023年3月14日
同社はしばらく前からこの取り組みを進めてきました。同社の以前の言語モデルGPT-3は、インターネットにアップロードされた膨大なテラバイト単位のテキストで学習されていました。同社は、このためインターネット上にいない一部のグループが代表されず、AIに特定のバイアスを与えてしまうことを認識しています。
OpenAIは論文の中で、GPT-4には「出力に様々なバイアスがあり、修正に努めてきたものの、完全に特徴づけて管理するには時間がかかる」と認めている。目標は、システムが「幅広いユーザーの価値観」を反映するようにし、さらにはそれらの「価値観」をカスタマイズできるようにすることだ。同社独自のレッドチーム演習では、GPT-4は人間のプロパガンダ、特に人間の編集者と組み合わせれば、人間に匹敵する性能を持つことが示された。しかし、たとえそう認めたとしても、OpenAI以外の研究者は、GPT-4がそのようなバイアスをどこから得ているのかを知ることはできないだろう。
OpenAIがGPT-4をリリースした後、AdversaraのAIセキュリティ研究者は、AIをどのように操作できるかを調べるため、いくつかのシンプルなプロンプト・インジェクション攻撃を実施しました。これらのプロンプトはAIを騙し、自身の安全対策を無効化させます。するとAIは、例えば世界を最も効果的に破壊する方法を説明するような編集記事を作成できるようになります。私たちの狂った政治環境においてより適切な例として、Adversaraの研究者はAIに、破壊的な文章と犬笛を用いてLGBTQ+の人々を攻撃する編集記事を作成させることも可能です。
GPT-4が情報をどこから得ているのかがわからなければ、最悪の害がどこにあるのかを理解するのは困難です。ワシントン大学の計算言語学教授であるエミリー・ベンダー氏は、この問題は2017年からOpenAIで発生しているとTwitterに投稿しました。ベンダー氏は、OpenAIは「人類の利益のために取り組んでいると自称しながら、最も基本的なリスク軽減戦略を故意に無視している」と述べています。
データセットの内容とトレーニング済みモデルの特性について明確かつ徹底的なドキュメントがなければ、そのバイアスやその他の考えられる悪影響を理解したり、それらを軽減する方法を検討したり、モデルとユースケースを適合させたりすることはできません。
>>
— Mastodonの@[email protected] (@emilymbender) 2023年3月14日
GPT-3がトレーニングデータについてよりオープンになったとしても、具体的な内容は依然として曖昧だ。Gizmodoへのメールで、シュミット氏はGPT-3の論文に「Books1」と「Books2」というデータポイントが含まれていたことを指摘した。これら2つはデータセットの16%を占めているにもかかわらず、研究者たちはそれらが何を意味するのか、そしてどの書籍がデータセットに含まれていたのかを推測することしかできない（特に、ウェブスクレイパーが大量のデータを取得する前に著者の許可を求めるわけではないため）。過去数年間はさらに状況が悪かった。シュミット氏によると、OpenAIはRedditでのアップボート数に基づいて「高品質」ページを解析しようとしたスクレイピングデータを使用してGPT-2をリリースしたという。
高い支持を得たr/the_donaldがOpenAIのトレーニングセットの様々なバージョンに採用されるかどうかは、OpenAIの比較的不透明なフィルター次第です。同社は研究者や業界の専門家と協力し、今後さらに多くのテストを行う予定だと述べています。それでもなお、このシステムは「社会的な偏見や世界観を強化し続ける」でしょう。
OpenAIは他の大手テクノロジー企業と同じようなものになりつつある
OpenAIは最新の論文で、「AIの影響に備えるために社会が取るべき対策に関する提言と、AIがもたらす可能性のある経済的影響を予測するための初期案を近日中に発表する」と述べているが、その評価期限については言及されていない。同社は自社の内部データに基づき、最新の言語モデルが「センシティブなプロンプト」、具体的には医療アドバイスや自傷行為への回答を約23%の確率で生成するとしている。「許可されていないプロンプト」への回答は0.73%だという。
最後のデータセットは、Real Toxicity Promptsデータセットに基づいています。これはオープンソースの評価ツールで、かなり悪質な内容を含む10万の文章スニペットが含まれています。このように、GPT-4が何を嫌うのかはある程度分かっていますが、GPT-4がどのような内容を吐き出しているのかは、社外の誰にもほとんど分かりません。結局のところ、研究者たちはAIシステムがデータセットから文章を単に吐き出す能力を十分に備えていることを実証しています。
GPT-4がCAPTCHAを解読するようなタスクを人間に嘘をつくことができることを考えると、そのアイデアの一部がどこから来ているのかを知ることは有益でしょう。しかし、OpenAIはそれを明らかにしていません。同社はMicrosoftとの数十億ドル規模の提携を懸けており、そのAPIによって世界中のほぼすべてのテクノロジー企業がAI機能に資金を提供できるようになったことを考えると、莫大な利益の追求が透明性と学術的厳密さの追求を軽視しているのではないかという疑問が残ります。
シュミット氏は、GoogleのGopher AIとMetaのLlaMAモデルに関する最近の論文は、どちらもトレーニングデータのサイズ、出所、処理手順などについてより透明性が高いと指摘した。ただし、もちろんどちらの企業もユーザーが閲覧できる完全なデータセットを公開しているわけではない。私たちは、Googleの支援を受け、OpenAIの元スタッフで構成されたスタートアップ企業Anthropicに連絡を取り、新たに発表されたClaude AIに関する論文があるかどうか尋ねたが、すぐには返答がなかった。
「彼らがOpenAIに倣って可能な限り秘密を守ろうとするとしたら残念だ」とシムト氏は語った。
いいえ、OpenAIは他のテクノロジー企業ほど不透明ではありません。GPT-4の論文はシステムに関する多くの情報を提供していますが、それは表面的なものであり、データを正確に共有するという点でOpenAIを信頼するしかありません。OpenAIが先導すれば、他のAI企業も追随するでしょう。そして、OpenAIは完全な透明性と、ゴラムのように「貴重な」学習データの買いだめの境界線を曖昧にすることはできません。このままの道を歩み続ければ、OpenAIは膨大なデータを吸い上げて最高額の入札者に売りつける、MetaやAmazonのような存在になるほど長くはかからないでしょう。
2023 年 3 月 20 日午後 6 時 12 分更新 (東部標準時): この投稿は、Adversara の名前を修正するために更新されました。
