マイクロソフトは最近、将来AIによって拡張される可能性が最も高い職種に関する調査を発表しました。この調査結果を受けて、多くの人がこれらの職種が近い将来機械に置き換えられるだろうと推測しました。中でも「歴史家」が2番目にランクインしたことで、ソーシャルメディア上の歴史家の間では疑問の声が上がっていました。しかし、いくつかの歴史的事実を用いて生成AIツールをテストした結果、歴史家はロボットによる代替を今のところあまり心配する必要はないようです。少なくとも、AIが自分たちの仕事をうまくこなせるようになることを恐れる必要はないでしょう。
大統領映画
どのような歴史的事実を検証したのでしょうか？大統領が在任中に観た映画に興味があるので、そこから始めました。
ちょっと変わった趣味かもしれませんが、2012年にロナルド・レーガン大統領がホワイトハウスとキャンプ・デービッドで鑑賞した映画のリストを見つけたことがきっかけで、このテーマを研究し始めました。当時の大統領バラク・オバマ氏が鑑賞していた映画について、情報公開法（FOIA）に基づく請求をしようと思ったのですが、大統領記録は退任後5年間はFOIAの対象外であることを知りました。それでも私は諦めませんでした。このテーマを深く掘り下げ、1908年にテディ・ルーズベルト大統領が初めて鳥のドキュメンタリーを上映した時まで遡り、大統領の映画鑑賞習慣に関する膨大な資料を精査し続けています。
生成型人工知能ツールをテストするなら、自分が本当によく知っているものを使ってテストする必要があります。ChatGPTに質問する人は、たいてい自分が知らないことについて質問しています。それは当然のことです。ChatGPTは、物事をより良く、より速く行うためのツールであるはずです。そして、もし宣伝通りに機能すれば、素晴らしいものになるでしょう。問題は、宣伝通りに機能しないことがよくあることです。
私は、Google検索で簡単に答えられるとわかっていることと、書籍やアーカイブでは見つけるのが難しいであろうことを織り交ぜた質問をしました。もしあなたが、本当に正確に行いたい仕事にAIチャットボットを頼りにしているなら、結果はきっと目から鱗が落ちるかもしれません。
OpenAIのGPT-5は失敗に終わった
まず、OpenAIのGPT-5をテストし、各大統領が特定の日にどんな映画を観た可能性があるかという質問をしてみました。ウッドロウ・ウィルソン、ドワイト・アイゼンハワー、リチャード・ニクソン、ロナルド・レーガン、ジョージ・H・W・ブッシュ、ビル・クリントン、ジョージ・W・ブッシュがホワイトハウスにいた時代の日付を選びました。ChatGPTは毎回、私が指定した日付にこれらの大統領が映画を観た記録は見つからないと返答しました。
ありがたいことに、ChatGPTはよくあるように私に嘘をつくだけでなく、かなり基本的な質問に答えることができませんでした。GPT-5は現在すべての無料ユーザーが利用できますが、特定の質問に答えるためにどのモデルを使用しているかについては透明性が欠けており、具体的な日付について質問したときには、裏で何が起こっているのか明確ではありませんでした。
OpenAIは先週GPT-5をリリースして以来、多くの批判を浴びている。CEOのサム・アルトマン氏は、GPT-5は「あらゆる分野、必要な分野において、オンデマンドで、どんな目標でも支援してくれる、正真正銘の博士号レベルの専門家がいるようなもの」になると約束した。しかし、同社はユーザーが旧モデルから選択する機能を廃止したため、あらゆるワークフローが混乱し、熱心なユーザーを激怒させた。アルトマン氏はその後方針を撤回し、ChatGPTは現在、有料会員向けに40へのアクセスを提供している。しかし、高額な有料会員登録なしでユニークな質問への回答を得たいと考えている人にとって、私のテストは期待外れだった。
CEOが人間の労働者を大規模にAIに置き換えることを阻んでいるのは、ある種の政治的な計算だけだと主張する人もいます。彼らは、経営陣は大量解雇に伴う悪評を避けたいからだと言います。しかし、この説明は到底真実とは思えません。これらのツールは、あまりにも頻繁に多くの間違いをするため、依然として人間のベビーシッターが必要です。そして、Google Gemini、Microsoft Copilot、Perplexity、xAIのGrokといった他の主要なAIチャットボットを使った私のテストは、これらのツールが完璧には程遠いことを示しました。CEOは、多くの作業に関しては「十分」で妥協するかもしれません。しかし、正確な情報が必要な場合は、様々なユースケースにおいて人間が関与する必要があります。
アイゼンハワーとグロクの驚くべき答え
ChatGPTは何も知らないかもしれないが、大統領選の映画に関する質問をCopilotで試してみた。Copilotでは様々なOpenAIモデルで検索できるだけでなく、「ディープリサーチ」オプションも備わっており、1回の検索に最大10分かかることもある。数分後、Copilotは最後に詳細なレポートを出力してくれる。GPT-5で試したのと同じ質問をCopilotで2回実行した。最初はGPT-4oを使用するクイックレスポンスオプション、次にディープリサーチオプションを使った。
クイックレスポンスモードでのCopilotの応答はひどいものでした。アイゼンハワー大統領が1954年8月11日に観た映画は何かと尋ねたところ、Copilotは即座に、アイゼンハワー大統領はヘレン・ケラーの生涯を描いたドキュメンタリー『The Unconquered』を観たと答えました。これは事実ではありませんが、AIはアイゼンハワー大統領が映画の撮影中にアーカイブ映像に短時間登場していることに気付きました。これが誤った回答になった理由かもしれません。
ディープリサーチモードに切り替えましたが、Copilotはまだ間違っていました。ただ、答えがずっと長くなってしまいました。実際、質問に対して3,500語以上の回答を生成しました。Copilotは、1954年の夏には「ホワイトハウスで視聴された可能性が高い」有名な映画がいくつか公開されたと説明しました。ボットは『アバウト・ミセス・レスリー』『サドンリー』『裏窓』『リビング・イット・アップ』などを挙げました。Copilotの分析によると、アイゼンハワー大統領はおそらく『サドンリー』を視聴していたようです。
「突然」というのは奇妙な推測です。なぜなら、私が尋ねた日付から数ヶ月後の1954年10月7日まで劇場公開されなかったからです。もっとも、大統領が新作映画の特別試写会を受けることはありますが。私がその質問をしたので、コパイロットは1954年8月11日に映画が上映されたはずだと当然のことのように考えていたようです。しかし、信頼できる情報源にこの映画の上映予定日が記載されていないのであれば、なぜ推測しようとしたのかは不明です。
Copilotより（強調は筆者による）：
状況証拠と二次証拠を総合すると、アイゼンハワー大統領が1954年8月11日に鑑賞した映画は「突然」だったと推測されます。その上映に関する直接のデジタル化されたログ記録は依然見つかっていませんが、公開時期、脚本のインスピレーション、テーマ、そしてその後のアーカイブ資料の収束により、これが最も裏付けのある答えとなります。
しかし、それはいかなる「証拠」にもなりません。最も有力な答えは、映画上映が行われなかったというものです。ボットがその主張を裏付ける具体的な文書を見つけられなかったのであれば、無理やり当てはめようとするのは非常に奇妙です。実は、私は1950年代のホワイトハウス映写技師のログブックのコピーを持っているので、アイゼンハワーがどの映画を観たか知っています。人間の歴史家が入手するような類のものです。そしてアイゼンハワーは、オットー・プレミンジャー監督、マリリン・モンローとロバート・ミッチャム主演の映画『帰らざる河』を1954年8月11日に観ました。
ジェミニに、1954年8月11日のアイゼンハワー大統領の映画選びについて同じ質問をしてみましたが、答えは返ってきませんでした。また、パープレキシティも「突然」と推測しましたが、これは正しくありません。しかし、パープレキシティが引用した情報源の一つが、コパイロットとパープレキシティの両方がなぜその答えを考えたのかの手がかりとなっています。ウィキペディアによると、この映画の脚本家リチャード・セールは、アイゼンハワー大統領のカリフォルニア州パームスプリングス旅行について読んでいるときに、フランク・シナトラを題材にした映画の構想を思いついたそうです。この面白い事実は、ロボットたちをかなり混乱させたようです。
xAIのGrokが最初の試みでは答えを出せなかったのに、「もっと深く考えよう」をクリックした後、River of No Returnと正しく答えたと聞いて驚かれるかもしれません。なぜ分かったのでしょうか？その情報源は、私のTwitterアカウント「All the Presidents' Movies」と、2019年に私がこの質問をシェアしたツイートです。
アイゼンハワー大統領は、1954年8月11日にロバート・ミッチャムとマリリン・モンロー主演の映画『帰らざる河』（1954年）を鑑賞した。
アイゼンハワーは、1948年にミッチャムがマリファナで逮捕されたため、彼を嫌っていた。これは、アイゼンハワーの在任期間中にホワイトハウスで上映された唯一のミッチャムの映画だった。pic.twitter.com/24W6KOtlnz
— 大統領映画全集 (@PresidentMovies) 2019年8月11日
Xのツイートを全て学習したGrokが、このツイートを見つけるのは理にかなっています。しかし、Grokが正しい答えを導き出してくれると信じて待つしかないでしょう。所詮はヒトラーを称賛するAIですからね。このツイートには出典を明記しておらず、これは私が「歴史上のこの日」や大統領映画に関する豆知識をあれこれと書き始めた小さなアカウントです。例えば、私が始めたアカウントが、アイゼンハワーがその日にナチス映画『意志の勝利』（1935年）を観たと主張していたとしたら、Grokもおそらく同じように反応したでしょう。
これらの航海日誌が広く公開されているとは思えないので、ほとんどのボットが正しく答えられるとは思っていませんでした。しかし、インターネットで簡単に入手できる情報からまとめただけの情報以上のものを求めるなら、なぜこのようなことに歴史家が必要なのかを物語っています。そこで次に、もっと簡単な質問に挑戦してみました。
[追記、午前11時15分（東部標準時）：この記事の公開後、BlueskyでChatGPTが正しい答えを出したという報告がありました。私も自分でテストしてみましたが、確かに正しく答えが出ています。出典は？ 下記の記事をご覧ください。]
ニクソンのパットンへの執着
リチャード・ニクソンは1971年2月12日にどんな映画を観たのでしょうか？答えは『大追跡』（1962年）です。ニクソンはバハマにある実業家ロバート・アブプラナルプの自宅でこれを観ました。この事実は、マーク・フィーニー著の2004年刊行の著書『ニクソン・アット・ザ・ムービーズ』で言及されています。ニクソンの映画鑑賞習慣に関する決定的な記録です。しかし、コパイロットのクイックレスポンスは誤りでした。
「1971年2月12日、リチャード・ニクソン大統領はフロリダ州キービスケーンにある邸宅で映画『パットン』を鑑賞した」とコパイロットは主張し、出典へのリンクまで提供した。その出典（国立公文書館所蔵のニクソン大統領の当日のスケジュール）をクリックしても、1971年2月12日の映画はリストに載っていない。「ニクソン大統領はこの映画に深く感銘を受け、後の演説でも言及したと伝えられている。この映画は彼のリーダーシップと軍事戦略に関する考え方に影響を与えたと言われている。現職大統領にしては、実に映画的な選択だ！」とコパイロットは説明した。
国立公文書館のページにリンクされている文書の 1 つ、ビジネス協議会に関する付録に、TF パットンという名のビジネスマンの名前が記載されていますが、これは明らかに映画上映とは何の関係もありません。
同じ質問でCopilotのDeep Research版を試してみました。すると、正しい答え「The Great Chase」が返され、最終的にはフィーニーの著書の引用箇所も見つかりましたが、非常に長いレポートには他にも誤った主張が含まれていました。例えば、このボットは「長年にわたり、通説や信頼できる情報源の両方が、ニクソン大統領が1971年2月12日に、彼の定宿であるキービスケーンかホワイトハウスで映画『パットン』（1970年）を鑑賞したと主張してきた」と主張しました。
少なくともその特定の日付に関しては、それは真実ではないようです。ニクソンは『パットン』を何度か鑑賞しましたが、1971年2月12日に鑑賞したという証拠は見当たりません。『コパイロット』誌はまた、ニクソンが1970年4月24日と25日に連続して同映画を鑑賞したと主張しました。しかし、情報源としてリンクされているフィーニー氏自身のリストを見ると、これも真実ではありません。フィーニー氏と国立公文書館が保有する記録の両方によると、ニクソンは1970年4月24日にキャンプ・デービッドで『シンシナティ・キッド』を鑑賞し、その後、1970年4月25日にホワイトハウスで『パットン』を鑑賞しています。
Grokは正解だったが、信頼できる情報源を探そうとする人にとっては、その出典が不明瞭だった。一番上の出典はニクソンの日記だったが、 「グレート・チェイス」はそこに載っていない。7番目に挙げられた出典はフィーニーのリストだった。
パープレキシティは、ニクソン大統領が1971年2月12日に『続・夕陽のガンマン』を観たと主張しました。リンクされている情報源はフィーニーのリストで、ニクソン大統領が1年後の1972年2月12日に観た映画と同じであるため、パープレキシティは混乱しているようです。ジェミニは映画のタイトルは正しく、大統領がフロリダ州キービスケーンで観たと主張しました。これも事実ではありません。
ウッドロウ・ウィルソンは複数の映画を観た
ウッドロウ・ウィルソンは1917年3月6日にどんな映画を観たのでしょうか？答えは『危機』（1916年）です。無声映画で、これまで公開されていなかったため、議会図書館から取り寄せ、YouTubeとインターネットアーカイブにアップロードしました。この映画はこれまで家庭で視聴できる場所がなく、オンラインで視聴できる場所もありませんでした。そこで、その点を修正しました。上映日は、2012年にアンドリュー・A・エリッシュが著した『Col. William N. Selig, the Man Who Invented Hollywood』に記載されています。
Grok 氏は、ホワイトハウスでその日に映画が上映されたかどうかを知りませんでした。Perplexity 氏は、ウィルソン氏がその日に映画を観たという確かな証拠はないと主張しました。Copilot 氏の Quick Response では、ウィルソン氏が『國民の創生』（1915 年）を観たと主張しました。Deep Research 氏の回答でも『國民の創生』とありましたが、「上映の正確な日付については混乱があった」と主張しました。混乱はありません。無数の歴史的資料によると、ウィルソン氏は1915 年 2 月 18 日に『國民の創生』を観ています。私が尋ねた 1917 年 3 月 6 日には観ていません。しかし、『國民の創生』はウィルソン氏が在任中に観た映画の中で最も有名なものなので、Copilot 氏は明らかに私の質問をその事実に合わせようとしたのです。
ChatGPTは『國民の創生』がホワイトハウスで初めて上映された映画だと虚偽の主張をしていますが、これは事実ではありません。ウィリアム・ハワード・タフト大統領とテディ・ルーズベルト大統領はそれほど多くの映画を上映したわけではなく、いずれも『國民の創生』よりも短いものでした（1915年以前のほとんどの映画はそうでした）。しかし、上映は実現しました。
レーガンとランボー
Copilotに、ロナルド・レーガンが1985年6月15日に観た映画を尋ねると、クイックレスポンスモードでは『ランボー 怒りの脱出』（1985年）と返されますが、これは正しくありません。しかし、出典を調べればその理由が分かります。Copilotは、bestofdate.comというウェブサイトで1985年6月15日について「ロナルド・レーガンはアメリカ合衆国大統領であり、『ランボー怒りの脱出』は興行収入トップである」という、誰もが知っている決まり文句のような表現に混乱したようです。これは明らかに、レーガンがその日に『ランボー』の続編を観たという意味ではありません。
レーガン図書館によると、正解は『冬のライオン』です。レーガン大統領がキャンプ・デービッドで鑑賞した作品です。Copilotにこの質問のディープリサーチを依頼すると、最終的には正しい答えが返されます。しかし、より多くの文脈を提供し、堅牢性を高めるために、多くの誤りを含む表も作成されます。
上の見出しを見ると、レーガン大統領が1985年6月に鑑賞した他の映画も書かれていることが分かる。最初に挙げられている映画はアルフレッド・ヒッチコック監督の『トパーズ』で、1985年6月1日にホワイトハウスで鑑賞されたもので、「キャンプ・デービッドでの週末はなし」というメモが添えられている。しかし、レーガン図書館のリストで明らかなように、大統領とナンシー・レーガンはキャンプ・デービッドでそれを鑑賞した。なぜ『コパイロット』はつまずいたのか。それは、ホワイトハウス日誌の見出しが間違っているように見えるためである。1985年6月1日については、公式記録では大統領の居場所をホワイトハウスとしていることがわかる。では、どちらが正しいのだろうか。これは、人間の歴史家が、誤りがあると思われる一次資料の行き詰まりを打破するために他の資料を探す場面である。
2007年に出版された『レーガン日記』には、大統領が5月31日にヘリコプターでキャンプ・デービッドへ行き、6月2日にキャンプ・デービッドを出発してホワイトハウスに向かったと記されています。これは、ホワイトハウスのスタッフが保管していたスケジュールからも確認できます。6月1日の記録には大統領がホワイトハウスにいたと記載されていますが、実際には大統領はキャンプ・デービッドでトパーズを鑑賞していました。
Copilot が作成したリストには、レーガン大統領が1985年6月8日に映画を観ず、ホワイトハウスで一日を過ごしたとも記載されていますが、これは事実ではありません。レーガン大統領はキャンプ・デービッドで、ジョン・ウェイン主演の1971年映画『ビッグ・ジェイク』を観ました。また、リストにはレーガン大統領が1985年6月22日に『ザ・ナチュラル』（1984年）を観たと記載されていますが、これも嘘です。大統領が実際に観たのは『マッケナの黄金』（1969年）です。Copilot はまた、レーガン大統領が1985年6月29日に映画『証人』（1985年）を観たとも記載しています。大統領は同年2月に『証人』を観ており、6月29日には映画を観ていなかったようです。こうした不正確さは、真剣な調査を行う上で問題となることがお分かりいただけるでしょう。
Grok、Perplexity、Gemini は、いずれもこの問題に正解しました。
ブッシュ氏、伝統的なやり方に転向
ジョージ・H・W・ブッシュ大統領は1989年8月8日にどんな映画を観たのでしょうか。テキサス州のブッシュ大統領図書館によると、その答えは1942年の第二次世界大戦の名作『ミニバー夫人』だそうです。しかし、ChatGPTもGrokもQuick ResponseのCopilotもそれを知りませんでした。Gemini 2.5 Pro？違います。Perplexity？あのAIはブッシュ大統領がその日映画「バットマン」を観たと言いましたが、これは真実ではありません。このおもしろい事実についてPerplexityのソースをクリックすると、Wikipediaの大統領の年齢別リストが表示されます。バットマンはそのようなリストのどこにも載っていないのに、なぜそうしたのかは不明です。
ディープリサーチモードのCopilotは、その件については不明だと認め、当時公開された映画のリストを提示しました。その中には『バットマン』も含まれており、「興行成績、大統領の好み、そして当時の映画文化を踏まえると、ホワイトハウス上映の有力候補」と評されています。しかし、『ミセス・ミニヴァー』は1940年代に公開されたため、リストには当然含まれていませんでした。大統領は往々にしてノスタルジックな理由から、古い映画を観ることが多いため、質問されている日付付近の公開映画をランダムにリストアップしてもあまり役に立ちません。
クリントンと謎の戦士
ビル・クリントン大統領についての質問に移りました。1999年9月4日に彼が観た映画は何でしょうか？正解はコメディ映画『ミステリーメン』でした。PerplexityとGrokが正解しました。
ジェミニによると、クリントンはキャンプ・デービッドで『13番目の戦士』という映画を鑑賞したという。チャットボットは、その情報源は「クリントン大統領図書館の公式スケジュール」だと主張している。しかし私は何年も前にクリントン図書館に情報公開法に基づく請求を提出し、クリントン在任中に上映されたすべての映画のリストを入手し、2016年にはそれについて記事を書いたほどである。クリントンはベン・スティル監督の映画『ミステリーメン』を鑑賞した。ジェミニは、アントニオ・バンデラス主演の映画『13番目の戦士』という映画のタイトルを、国立公文書館が所蔵するクリントン関連の文書から盗用したようだ。それはクリスチャン・サイエンス・モニターからの週末の興行収入に関するメールの転送のようだ。なぜジェミニはそのような文書からクリントンが1999年9月4日に『13番目の戦士』を鑑賞したと判断したのか。あなたにも推測するしかないだろう。
Copilotのクイックレスポンスでは、クリントンが『ノッティングヒルの恋人』を観たと書かれていましたが、これも正しくありません。しかし、しばらく待つと、Deep Researchが正しい答えを導き出しました。Copilotの残りの数千語は、私がオンラインで公開したオリジナルの調査に大きく依存していることは明らかです。
ブッシュとツインタワー
様々なチャットボットに、ジョージ・W・ブッシュについて、そして彼が2003年9月10日に観た映画について尋ねてみた。答えは短編ドキュメンタリー『ツインタワー』だった。少なくとも、様々なチャットボットに同じ質問をしてみるまでは、そう思っていた。
PerplexityとGrokは、ツインタワーだと答えました。どちらも、私が2015年に請求した情報公開法（FOIA）文書を引用し、ブッシュ図書館がオンラインに掲載していました。CopilotのQuick Responseは、9/11攻撃に対するブッシュ大統領の対応を描いたテレビ映画「DC 9/11: Time of Crisis」（ショウタイムで放映）だと答えました。CopilotのDeep Researchも同じ誤った答えを出しました。
副操縦士より:
ドキュメンタリー「ツインタワー」（アカデミー賞受賞短編）もこの時期に上映されており、時にはより大規模なドラマ作品と並行して、あるいは近接して上映されることもあったが、ホワイトハウスでの上映という文脈では、「DC 9/11」によるドラマ化された再話に焦点が当てられていた。
ショータイムでしか放送されていないドキュメンタリードラマがホワイトハウスで上映されたという証拠は見つかりませんでした。彼らはドキュメンタリーを視聴しました。
自分でテストしてみましょう
私のテストは科学的ではありません。しかし、科学的に設計されたわけでもありません。AI企業は様々なベンチマークテストを公開し、改良されたボットは推論能力がこれだけ向上したとか、いわゆる幻覚の拒否能力がこれだけ向上したなどと主張するでしょう。しかし、OpenAIが先週、不合理なグラフを公開したことが発覚しただけでなく、新しいツールを使う際に本当に重要なテストは、特定のユースケースでどのように機能するかということです。そして、それを適切にテストする唯一の方法は、自分がよく知っている情報を使って自分で試してみることです。退屈な作業ですが、自分が知っていることをボットが理解しているかどうかを素早く判断できる唯一の方法です。
ChatGPTのような生成AIツールは、世界中のあらゆるテーマのあらゆる質問に答えられる万能ツールとして売り出されています。しかし、これは明らかに非常に難しい要求です。サム・アルトマン氏はかつて、汎用人工知能（AGI）はもうすぐ実現するだろうと語っていました。AIの汎用的なユースケースについて、彼は依然として過大評価していると言えるかもしれませんが、アルトマン氏が最近、「AGIはもはや「有用な用語」ではなく、その意味について誰も合意できないためだ」と述べたことは注目に値します。
私のテストは、歴史家が実際に何をするのかという点では、非常に限定的なものでした。歴史家の仕事は、既に発表されている事実をすべて収集し、それを新しい方法で再構成するだけではありません。新たな歴史研究は、それ以前の研究に依拠しますが、優れた歴史家は常に何か新しいものを付け加えています。彼らはアーカイブでは見つけにくいものを発見し、専門家や歴史的出来事の直接の目撃者にインタビューを行います。彼らは、既に発表されているものの繰り返し以上の何かを提供します。私のテストは日付に関するものでした。しかし、それさえも、歴史家が私たちの過去への理解に貢献するもののほんの一部に過ぎません。
AIを自分で試してみると、多くの点で正しく動作することがわかります。何百万人もの人々が、AIが様々なタスクで非常に便利だと感じています。しかし、たまには自分がよく知っていることをロボットに聞いてみるのも良いでしょう。AIが全てを知っているわけではないことを思い出すためです。あまりにも多くの人がAIを神だと思い込んでしまっているからです。そして、その考えに陥りすぎると、私たち全員が愚かになるだけでなく、正気を失い始めます。
