話題のテキスト生成ツール「ChatGPT」を開発した人工知能企業OpenAIが、以前のツールがもたらした混乱に対処するための新たなAIツールをリリースした。残念ながら、あまり良いものではない。
同社は火曜日に、無料のウェブベースのAI検出ウィジェットを発表しました。このアプリケーションは、テキストサンプルを、AIによって生成された可能性と実際の人間によって書かれた可能性に基づいて分類することを目的としています。テキストサンプルを入力すると、「AIによって生成された可能性は非常に低い」「可能性は低い」「不明」「可能性あり」「可能性が高い」の5段階の評価のいずれかを表示します。
しかし、OpenAI自身のテストでは、このツールが生成されたテキストを「AIが作成した可能性が高い」と正しく識別できたのは約4分の1に過ぎなかった。さらに、約10回に1回は、人間が作成した単語を誤ってコンピューター生成と分類してしまうと、同社はブログ記事で指摘している。
OpenAIによると、これらの平凡な結果でさえ、同社の過去のAIテキスト検出の試みに比べれば改善されているとのことだ。そして、このテクノロジースタートアップは、自社の発明のおかげで、改善の余地があることを認めている。
しかし、現状のこの新しい検出ツールは、AIを活用した盗作、学術上の不正行為、そして誤情報の拡散に対する高まる懸念に真摯に対処できるほどの精度を備えていない可能性が高い。「当社の分類システムは完全に信頼できるものではありません」と同社は述べている。「主要な意思決定ツールとして使用すべきではありません。」
言い換えれば、ニュース記事や授業の課題が AI によって生成されたのではないかと疑う場合、OpenAI の分類器が示す内容は真実である可能性もあれば、そうでない可能性もあります。
Gizmodo独自のテストでは、この分類器は特に印象的な結果を出さなかった。AI生成テキストを複数回テストしたところ、検出器は生ぬるい結果を出した。「おそらくAI生成」と、私が少し前にChatGPTで生成したフェイクニュース記事について表示されたのだ。
ChatGPT が自分自身についての記事を書こうとして AI が生成したテキストの一部を使っても、同じ結果が得られました。
CNETの記事から「AIエンジンの支援」によって生成されたクリップに対し、OpenAIの検出器は、それがAIによって生成された可能性は「低い」と私に伝えた。
しかし、このツールの功績として、10回ほど試してみたところ、最近公開されたGizmodoの記事のテキストでは誤検知は一度もありませんでした。私がテストしたGizmodoの記事に対して分類器が出した唯一の回答は、「AI生成の可能性は極めて低い」というものでした。OpenAIは、新しいAIツールのWeb版では「誤検知率を非常に低く抑える」ために信頼度の閾値を意図的に調整したと述べています。つまり、この調整はうまく機能している可能性があります。ただし、OpenAIが自己報告した9%の誤検知率は依然としてかなり高いです。
同社によれば、このツールのその他の制限としては、英語でのみ問題なく機能し、他の言語では機能しない、AIが書き込んだテキストは分類器をバイパスするように簡単に編集できる、長いテキストサンプルのみが信頼性の高い正確な結果をもたらす、などが挙げられる。
しかし理論的には、AI検出器自体がAIベースであるため、使用頻度が増すにつれて精度が向上するはずです。分類器は、同じトピックに関するAI生成テキストと人間が書いたテキストのサンプルのペアで学習された言語モデルです。OpenAIは、分類器のこの段階を公開することで、フィードバックを得て「将来的に改善された手法を共有」したいと考えています。
GizmodoはOpenAIに連絡し、新しいツールについて質問したところ、ブログ記事に戻るように指示された。
AI検出に挑戦するのは同社が初めてではない。大学生のエドワード・ティアン氏が最近、独自のプログラムをリリースした。また、ギズモードの筆者のようにAIについて公に記事を書いている人なら、話題の最新AI検出ソフトウェアを宣伝するプレスリリースが溢れていることをご存知だろう。しかし、全体的に見て、既存のツールはAI生成能力の進歩にそれほど耐えられていないようだ。人間と同様に、自動AI検出ツールも間違いを犯し続ける。最近のプレプリント研究では、自動検出ツールがAI生成テキストを3分の1以上の確率で検出できなかったという。
結局のところ、AIがどのようにして自らを出し抜くことができるのか想像するのは難しい。特にAI生成の結果がますます説得力を持つようになる中ではなおさらだ。信頼性の高いAI検出技術の開発を目指す中で、OpenAIは自らとの競争に突入した。AIテキスト生成器が優れているほど、生成された文章のAI由来を見抜くのは難しくなるはずだ。そして、OpenAIは分類検出ツールの改良と並行してChatGPTの改良も試みていると思われるため、この競争に勝つのは不可能に思える。
