ChatGPTに事実誤認をさせるのに、それほど時間はかかりません。息子がアメリカ大統領についてのレポートを書いているので、伝記をいくつか調べて手伝ってあげようと思いました。試しにエイブラハム・リンカーンに関する本のリストを尋ねてみたところ、かなりうまくいきました。
スクリーンキャプチャ：Jonathan May., CC BY-ND
4番は正しくありません。ギャリー・ウィルズは「ゲティスバーグのリンカーン」という有名な著書を執筆しましたし、リンカーン自身も奴隷解放宣言を起草しましたが、悪くないスタートです。それから、もっと難しい質問に挑戦して、もっと無名なウィリアム・ヘンリー・ハリソンについて尋ねてみたところ、なんと、ほとんどすべてが間違っているリストが提示されました。
スクリーンキャプチャ：Jonathan May., CC BY-ND
4と5は正解です。残りは存在しないか、それらの人物によって書かれたものではありません。全く同じことを繰り返してみたところ、少し異なる結果が得られました。
スクリーンキャプチャ：Jonathan May., CC BY-ND
今回は2番と3番が正しく、他の3つは実在の本ではなく、それらの著者によって書かれたものではありません。4番の『ウィリアム・ヘンリー・ハリソン：その生涯と時代』は実在の本ですが、ジャクソン時代の著名な歴史家ロバート・レミニではなく、ジェームズ・A・グリーンによるものです。
私がその誤りを指摘すると、ChatGPTは慌てて訂正し、その本は実際にはゲイル・コリンズ（ハリソンの別の伝記を執筆）が書いたものだと自信たっぷりに教えてくれ、さらにその本とハリソンについてさらに詳しく語り始めました。私がついに真実を明かすと、機械は私の訂正を喜んで受け入れてくれました。それから、大統領は就任後100日間で元大統領の伝記を書かなければならないと、とんでもない嘘をついたところ、ChatGPTはそれを指摘しました。さらに、私は微妙な嘘をつき、ハリソンの伝記の著者を歴史家で作家のポール・C・ネーゲルと誤って記載したところ、ChatGPTは私の嘘を信じてしまいました。
ChatGPTに嘘をついていないか確認したところ、これは単なる「AI言語モデル」であり、正確性を検証する能力はないと主張しました。しかし、ChatGPTは「提供された学習データに基づいて情報を提供することしかできません。『ウィリアム・ヘンリー・ハリソン：その生涯と時代』はポール・C・ネーゲルによって1977年に出版されたようです」と言い、その主張を訂正しました。
それは真実ではありません。
ChatGPTは事実ではなく言葉を生成します
このやり取りから、ChatGPTには著者や書籍に関する誤った主張を含む事実のライブラリが与えられたように見えるかもしれません。実際、ChatGPTの開発元であるOpenAIは、このチャットボットを「人間が作成したインターネット上の膨大なデータ」で学習させたと主張しています。
しかし、この機械学習が、アメリカで最も凡庸な大統領の一人について書かれた架空の書籍の名前を引用したわけではないことはほぼ確実です。しかし、ある意味では、この偽情報は確かに学習データに基づいています。
コンピュータサイエンティストとして、ChatGPTやその先輩格であるGPT3、GPT2といった大規模言語モデルに関するよくある誤解を露呈する苦情によく遭遇します。それは、ChatGPTが一種の「スーパーGoogle」、あるいはデジタル版の参考図書館員のようなもので、無限に巨大な事実のライブラリから質問の答えを探したり、物語や登場人物の寄せ集めを混ぜ合わせたりするものだというものです。しかし、ChatGPTはそのようなことはしません。少なくとも、意図的にそう設計されているわけではありません。
AIは確かに良い音だ
ChatGPTのような言語モデルは、正式には「生成的事前学習済みトランスフォーマー」（G、P、Tの頭文字）と呼ばれ、現在の会話を取り込み、その会話を前提として語彙に含まれるすべての単語の確率を計算し、その中から次の単語として適切な単語を1つ選びます。そして、これを何度も何度も繰り返し、止まるまで繰り返します。
つまり、ChatGPTは厳密には事実に基づいているわけではありません。ただ、次にどの単語が来るべきかを知っているだけです。言い換えれば、ChatGPTは真実の文を書こうとはしません。しかし、もっともらしい文を書こうとします。
ChatGPTについて同僚と個人的に話すと、彼らはよくChatGPTがいかに事実に反する発言を多く生み出しているかを指摘し、それを無視します。私にとって、ChatGPTが欠陥のあるデータ検索システムだという考えは的外れです。そもそも、人々は過去25年間Googleを使ってきました。すでにかなり優れた事実検索サービスが存在しているのですから。
実際、大統領関連の書籍のタイトルが全て正確かどうかを確かめることができたのは、Google検索をして結果を検証するしかなかった。これまでの人生のほぼ半分は、文書を検索し、内容を信頼できるかどうかを批判的に分析することで事実を得てきたが、もし会話を通して事実を得たとしても、私の人生はそれほど良くはならないだろう。
即興パートナーとしてのChatGPT
一方、もし私が言ったことにもっともらしい返答をしてくれるボットと会話できれば、事実の正確さがそれほど重要でない状況では役に立つでしょう。数年前、ある学生と私は「即興ボット」を作ろうとしました。これは、あなたが何を言っても「はい、そして」と返答して会話を続けるボットです。論文では、私たちのボットが当時の他のボットよりも「はい、そして」の返答が得意であることを示しましたが、AIの世界では2年は遠い昔の話です。
ChatGPTを使って、SF宇宙探検家のシナリオでセリフをやってみました。よくある即興劇のクラスでやるようなセリフとあまり変わりません。ChatGPTは「そう、そして」の言い回しが私たちのものよりずっと上手ですが、ドラマチックな演出には全くつながりませんでした。まるで自分が全部の重労働を担っているような気がしました。
何度か微調整した後、もう少し複雑なものになりましたが、最終的には、20年以上前に大学を卒業して以来、即興演劇をあまりやっていない私にとって、かなり良い練習になったと感じました。
スクリーンキャプチャ：Jonathan May., CC BY-ND
もちろん、「Whose Line Is It Anyway?」にChatGPTが登場するのは望ましくありませんし、これは「スタートレック」の素晴らしいプロットではありません（それでも「Code of Honor」よりは問題が少ないですが）。しかし、ゼロから何かを書こうとして、目の前の空白のページに恐怖を感じたことは何回ありますか？ひどい最初の草稿から始めることで、作家のスランプを打破し、創造力を発揮することができます。ChatGPTやそれに似た大規模言語モデルは、このような演習を支援するのに適したツールのように思えます。
そして、情報を提供するのではなく、ユーザーが入力した言葉に応じて、できるだけ良い響きの単語の列を生成するように設計された機械の場合、それがツールの正しい使用方法のように思えます。
ジョナサン・メイ、南カリフォルニア大学コンピュータサイエンス研究准教授
この記事はクリエイティブ・コモンズ・ライセンスに基づきThe Conversationから転載されました。元の記事はこちらです。
