AI検索エンジンは、まるで様々な分野の専門家を自称し、実際には何を言っているのかわからないのに、権威ある言葉を延々と続ける友人のようなものです。コロンビア・ジャーナリズム・レビュー（CJR）の新たな研究報告によると、OpenAIやxAIなどのAIモデルは、特定のニュースイベントについて質問されると、多くの場合、単に記事をでっち上げたり、重要な詳細を間違えたりすることが明らかになりました。
研究者たちは、様々なモデルに実際のニュース記事の抜粋を直接入力させ、記事の見出し、発行元、URLなどの情報を特定するよう指示しました。Perplexityは37%の確率で誤った情報を返しましたが、極端な例ではxAIのGrokが97%の確率で詳細を偽造しました。ボットがURL自体を偽造したため、実際にはどこにもアクセスできない記事へのリンクを提示するといったエラーもありました。全体として、研究者たちはAIモデルがテストクエリの60%で誤った情報を吐き出したことを発見しました。
Perplexityのような検索エンジンは、ナショナルジオグラフィックのようなウェブサイトが、検索エンジンが通常は尊重する「クロール禁止」テキストを使用しているにもかかわらず、ペイウォールを回避してしまうことがあります。Perplexityは過去にこの件で批判を浴びましたが、この慣行はフェアユースであると主張しています。出版社をなだめるため、収益分配契約を提示しようと試みましたが、依然としてこの慣行の廃止を拒否しています。
近年チャットボットを利用したことがある人なら、驚くことはないだろう。チャットボットは、たとえ自信がない場合でも、回答を返す傾向がある。チャットボットの検索機能は、「検索拡張生成」と呼ばれる技術によって実現されている。その名の通り、AIモデルメーカーが提供した固定データセットに頼るのではなく、回答を生成する際にWeb上でリアルタイムの情報を検索する。ロシアなどの国が検索エンジンにプロパガンダを流用しているため、この不正確さの問題はさらに悪化する可能性がある。
チャットボットのユーザーの一部が気づいた最も痛烈な事実の一つは、チャットボットが質問に答えるために用いる「推論」テキスト、つまり論理の連鎖を確認する際に、しばしば事実を捏造していることを認める点だ。例えば、アントロピックのクロード氏は、調査を依頼された際に「仮置き」データを挿入していたことが発覚した。
タイム誌の最高執行責任者（COO）マーク・ハワード氏は、CJRに対し、出版社が自社のコンテンツがAIモデルにどのように取り込まれ、表示されるかを制御できることについて懸念を表明した。例えば、ユーザーがガーディアン紙から受け取ったとされるニュース記事が誤りだと知った場合、出版社のブランドに損害を与える可能性がある。これはBBCが最近直面した問題で、BBCはAppleの「Apple Intelligence」通知サマリーがニュースアラートを不正確に書き換えたとして同社を非難した。しかしハワード氏は、ユーザー自身にも責任があると非難した。Ars Technicaより：
しかし、ハワード氏はユーザーを非難する発言もしており、無料AIツールの精度に疑問を持たないのはユーザーの責任だと示唆している。「もし消費者として、これらの無料製品が100％正確だと信じている人がいるとしたら、それは恥ずべきことだ。」
ここでは期待値は設定すべきではありません。人間は怠惰であり、チャットボットは自信たっぷりの回答をするため、ユーザーを安心させてしまう可能性があります。ソーシャルメディア上の意見は、人々がリンクをクリックすることを望まず、GoogleのAI概要のようなサービスから即座に回答を得ることを望んでいることを示しています。CJRによると、現在、アメリカ人の4人に1人が検索にAIモデルを利用しています。また、生成AIツールが登場する以前でさえ、Google検索の半分以上は「ゼロクリック」でした。つまり、ユーザーはウェブサイトをクリックすることなく必要な情報を得ることができたのです。Wikipediaなどの他のサイトは、無料で簡単にアクセスできるものであれば、たとえ信頼性が低くても人々は受け入れるということを長年にわたり証明してきました。
CJRのこれらの調査結果はどれも驚くべきものではありません。言語モデルは、単に正しく見えるものを作り出すだけの、単なる誇張された自動補完システムであるため、その意味を理解するのに非常に苦労しています。アドリブなのです。
ハワード氏の発言で印象的だったのは、チャットボットには将来的な改善の余地があると述べた部分です。「今の状態は、この分野への投資がどれだけあったとしても、最悪の製品だ」と述べ、この分野への投資を指摘しました。しかし、これは歴史上どのテクノロジーにも言えることです。このような捏造された情報を世に出すのは、やはり無責任です。
