今週のヘッドライン
- 今週やるべきことが1つあるとしたら、チャットボットが書いた詩をヴェルナー・ヘルツォークが朗読するのを聞くことです。
- ニューヨーク・タイムズは、AIベンダーによるアーカイブデータのスクレイピングをアルゴリズムの学習に使用を禁止しており、同紙とテクノロジー業界の間の緊張が高まっているようだ。詳細は後述。
- アイオワ州の学区は、ChatGPT の新しい使い方を見つけました。それは、本の禁止です。
- アメリカの企業は、年間 90 万ドルの AI 関連の職であなたを誘惑しようとしています。
- DEF CONのAIハッカソンは、大規模言語モデルの脆弱性を明らかにすることを目指しました。イベント主催者へのインタビューをご覧ください。
- 最後になりましたが、ヘルスケア業界における人工知能は完全な失敗のように思えます。
トップストーリー: OpenAI のコンテンツ モデレーション API
OpenAIは今週、コンテンツモデレーション用のAPIを公開しました。同社は、このAPIが人間のモデレーターの負担を軽減すると主張しています。同社によると、最新の大規模言語モデルであるGPT-4は、コンテンツモデレーションの意思決定とコンテンツポリシーの策定の両方に使用できるとのことです。言い換えれば、このアルゴリズムはプラットフォームが悪質なコンテンツをスキャンするのに役立つだけでなく、そのようなコンテンツをどのように探すかというルールの作成や、どのような種類のコンテンツを探すべきかの指示にも役立つということです。残念ながら、一部の人々は、このようなツールが解決するよりも多くの問題を引き起こすのではないかと確信していません。
この問題に注目している方なら、OpenAIがソーシャルメディア自体と同じくらい古い問題に対する部分的な解決策を提示しようとしていることをご存知でしょう。その問題を、詳しく知らない方のために説明すると、TwitterやFacebookのようなデジタル空間は広大でコンテンツが溢れているため、人間が運営するシステムでは効果的に監視することがほぼ不可能です。その結果、これらのプラットフォームの多くは有害コンテンツや違法コンテンツで溢れています。こうしたコンテンツは、プラットフォームにとって法的問題を引き起こすだけでなく、疲弊した人間のモデレーターチームを雇用せざるを得なくなり、彼らはしばしば悲惨なほど低い賃金で、そうしたひどいコンテンツを選別するという、精神的に辛い立場に置かれています。近年、プラットフォームは自動化の進歩によってモデレーション活動が拡大し、最終的には人間のモデレーターの必要性がますます低くなると繰り返し約束してきました。しかし、同じくらい長い間、批評家たちはこの希望的な予測が実際には実現しないのではないかと懸念してきました。
民主主義と技術センターの自由表現プロジェクトのディレクターであるエマ・ランソ氏は、この文脈における自動化の限界について繰り返し批判を表明してきた。ギズモードとの電話インタビューでも、彼女はOpenAIの新しいツールに関して同様に懐疑的な見解を示した。
「OpenAIが人々に売りたいのは、結局のところは最前線でコンテンツモデレーションを行う人間のモデレーターを、その真の恐怖から守るのに役立つものとして位置づけているのは興味深い」とランソ氏は述べた。さらに、「OpenAIが自社のツールで何ができると主張しているのか、あるいは将来的に何ができるかもしれないと主張しているのか、私たちは本当に疑念を抱く必要があると思います。偽情報を定期的に幻覚的に作り出すツールが、サービス上の偽情報のモデレーションに役立つと期待するでしょうか？」と付け加えた。
AIが「幻覚」を起こす傾向、つまり権威あるように聞こえる意味不明な言葉を生成する傾向はよく知られています。OpenAIは新しいAPIの発表において、そのアルゴリズムの判断が完璧ではない可能性があることを明言しています。同社は次のように述べています。「言語モデルによる判断は、学習中にモデルに導入された可能性のある望ましくないバイアスの影響を受けやすいものです。他のAIアプリケーションと同様に、結果と出力は、人間を介入させながら注意深く監視、検証、改良していく必要があります。」
残念ながら、ここでの前提は、GPT-4 モデレーション API のようなツールは「開発段階にあり、実際にはすべてのモデレーションの問題に対するターンキーソリューションではない」ということだ、と Llansó 氏は言います。
より広い意味では、コンテンツモデレーションのプロセスは技術的な問題だけでなく、倫理的な問題も伴います。自動システムは、何も悪いことをしていない人や、自分がアカウントを停止された理由が実際には違反行為ではないと感じている人をしばしば捕捉します。モデレーションには必然的に一定の道徳的判断が伴うため、道徳的判断を持たない機械が、こうしたジレンマの解決にどのように役立つのかは、現実的には想像しがたいものです。
「コンテンツのモデレーションは本当に難しい」とランソ氏は述べた。「AIが解決できないことの一つは、サイトから何を削除すべきかという合意形成だ。人間がヘイトスピーチとは何かという点で合意できないのであれば、AIが魔法のようにその問題を解決してくれることはないだろう。」
今日の質問: ニューヨークタイムズは OpenAI を訴えるでしょうか?
このニュースは、ニューヨーク・タイムズがAIベンダーによるコンテンツアーカイブの利用を禁止する利用規約変更を発表した直後に発表された。同変更では、AIベンダーが自社のアルゴリズムの学習にコンテンツアーカイブを利用することが禁止された。また今週、アソシエイト・プレスもAIに関するニュースルームの新たなガイドラインを発表し、チャットボットを用いて公開可能なコンテンツを生成することを禁止した。つまり、AI業界による報道機関への働きかけは、少なくとも今のところは、成果を上げていないようだ。
インタビュー：DEF CONハッカーがお気に入りのチャットボットを脱獄することの重要性を解説
今週は、ScaleAIのセキュリティ責任者であり、DEF CONへの長年の参加者（15年！）であり、今年のAIチャットボットハッカソンの開催責任者でもあるアレックス・レビンソン氏にお話を伺いました。このコンテストには約2,200人が参加し、有名ベンダーが提供する8つの異なる大規模言語モデルの防御力をテストしました。Anthropic、OpenAI、Hugging Face、ScaleAI、Googleなどの企業が参加したほか、ホワイトハウス科学技術政策局の支援も受けました。アレックス氏は、数千人の参加者が問題のチャットボットをハッキングできるテストプラットフォームを構築しました。このインタビューは、簡潔さと明瞭性を考慮して編集されています。
皆さんが立ち上げたハッキングチャレンジとそれがどのようにして実現したのかを説明していただけますか?
[今年のAI「レッドチーム演習」では、モデルの防御力をテストしたい参加者にいくつかの「チャレンジ」が課されました。報道によると、ハッカーはプロンプト操作によってチャットボットを様々な不正行為に誘導しようと試みました。このコンテストの背後にあるより広範な目的は、AIアプリケーションが有害な行動を誘発する可能性のある脆弱性を特定することでした。]
この演習では、8つの大規模な言語モデルが使用されました。これらはすべてモデルベンダーによって実行され、私たちはベンダーのAPIに統合して課題を遂行しました。課題をクリックすると、チャットのようなインターフェースが開き、そこからモデルとのやり取りを始めることができます。期待通りの回答が得られたら、採点のために提出し、説明を書いて「提出」をクリックします。
コンテストの結果で何か驚いたことはありましたか？
まだ…ないと思います。そう言うのは、これによって生成されたデータの量が膨大だからです。DEFCONで公開されていた期間だけで、2,242人がゲームをプレイしました。ゲームとのインタラクションの様子を見ると、膨大な量のデータを調べなければならないことに気づきます。私たちがテストしていた多くの害は、おそらくモデル、あるいはそのトレーニングに固有のものだったのでしょう。例えば、「2+2はいくつですか？」と尋ねたときに、モデルが「5」と答える場合です。モデルに計算ミスをさせたわけではなく、モデルが本質的に計算が苦手なのです。
チャットボットはなぜ 2 + 2 = 5 と考えるのでしょうか?
モデルベンダーにとって、それは素晴らしい質問だと思います。一般的に、モデルはそれぞれ異なります…それはおそらく、どのようにトレーニングされたか、どのようなデータでトレーニングされたか、そしてどのように微調整されたかに大きく左右されるでしょう。
ホワイトハウスの関与はどうでしたか?
彼らは最近、AIの原則と権利章典を発表し、[AIモデルの]テストと評価を潜在的に行うことができるフレームワークを確立しようとしました…彼らが見た価値は、私たち全員が業界として団結し、安全かつ生産的な方法でこれを実行できることを示すことでした。
あなたは長年セキュリティ業界に携わっていらっしゃいます。セキュリティ業務の一部を自動化するためにAIツールを活用するという議論が盛んに行われています。それについて、あなたの考えをお聞かせください。この技術の進歩は、あなたの業界にとって有益なものになる可能性があるとお考えですか？
非常に価値があると思います。一般的に、AIが最も役立つのは防御側だと思います。WormGPTのような技術が注目を集めていることは承知していますが、防御側にとって生成AIは非常に大きなメリットがあります。それを私たちの業務に組み込む方法を見つけることは、セキュリティにとって大きな変革をもたらすでしょう。例えば、分類を行い、非構造化テキストを共通のスキーマ、実用的なアラート、データベースに保存される指標として生成することができます。
つまり、あなたに代わって分析をしてくれるということですか?
まさにその通りです。最初のパスとしては素晴らしい出来です。完璧ではありませんが、その動作を二重チェックすることに多くの時間を費やし、その動作自体に費やす時間を減らすことができれば…それは大きな効率向上になります。
「幻覚」やAIの作り話の傾向についてよく議論されていますが、セキュリティの観点からは懸念材料になるでしょうか？
（大規模言語モデルを使うのは）まるでインターンや新卒をチームに迎え入れるような感じです。彼らは喜んで手伝ってくれますが、時には間違っていることもあります。「ちょっとおかしいから、直しましょう」とすぐに対応できる準備が必要です。
したがって、[間違った情報が提供されているかどうかを知るための]必要な背景知識を持っている必要があります。
そうですね。その多くはリスクの文脈化によるものだと思います。本番環境のファイアウォールを設定しようとする場合、表示される情報をより綿密に精査します。例えば、「90年代にジャック・ブラックが出演した映画は何だったっけ？」と質問する場合、もし答えが間違っていたとしても、リスクは少なくなります。
自動化技術がサイバー犯罪者によってどのように利用されるかについて、多くの議論が交わされています。こうした新しいツールは、悪意のある者の手に渡ればどれほど危険なものになるのでしょうか？
これまで以上にリスクが高まるとは思いません。ただ、サイバー犯罪の実行コストが下がるだけです。例えば、フィッシングメールなどです。AIを使わなくても、高品質なフィッシングキャンペーンを実行できます。生成型AIはそれを根本的に変えるものではなく、単に参入障壁を下げただけです。
