私は25年前に偏ったAIアルゴリズムを作成しましたが、テクノロジー企業は今でも同じ間違いを犯しています。

1998年、私は意図せず人種差別的な人工知能アルゴリズムを開発してしまいました。この出来事には、今日、より強く心に響く教訓があります。

AIアルゴリズムにおけるバイアスとエラーの危険性は、今や周知の事実です。では、なぜここ数ヶ月、特にAIチャットボットや画像生成ツールの分野で、テクノロジー企業による失態が相次いでいるのでしょうか？ChatGPTの初期バージョンは人種差別的な出力を生成しました。DALL-E 2とStable Diffusion画像生成ツールはどちらも、生成した画像に人種差別的なバイアスを示していました。

白人男性のコンピュータサイエンティストである私自身のひらめきは、2021年にコンピュータサイエンスの授業中に起こりました。生徒たちはちょうど、AI研究者でありアーティストでもあり、自称「コードの詩人」でもあるジョイ・ブオラムウィニのビデオ詩を視聴したばかりでした。彼女が2019年に制作したビデオ詩「AI、私は女じゃないの？」は、GoogleやMicrosoftといったテクノロジー企業が開発した自動顔認識システムにおける人種的およびジェンダーバイアスを、3分間で痛烈に暴露する作品です。

こうしたシステムは、有色人種の女性を男性として誤って分類し、しばしば機能不全に陥らせます。その欠陥の中には、特に甚だしいものがあります。黒人公民権運動指導者アイダ・B・ウェルズの髪は「アライグマの毛皮の帽子」と分類され、別の黒人女性は「セイウチの口ひげ」と分類されています。

年月を経て響き渡る

コンピュータサイエンスの授業で、ひどいデジャブに襲われました。自分もかつて人種差別的なアルゴリズムを作ったことがあることを突然思い出したのです。1998年、私は博士課程の学生でした。ビデオカメラからの入力に基づいて人の頭の動きを追跡するというプロジェクトでした。指導教官は既に、特定の状況下で頭の動きを正確に追跡するための数学的手法を開発していましたが、システムはもっと高速で堅牢である必要がありました。1990年代初頭、他の研究室の研究者たちが、画像から肌色の領域をリアルタイムで抽出できることを示していました。そこで私たちは、追跡装置のための追加の手がかりとして、肌の色に注目することにしました。

当時はまだ珍しかったデジタルカメラを使って、自分の手と顔を数枚撮影しました。また、たまたま建物内にいた2、3人の手と顔も撮影しました。これらの画像から肌色のピクセルを手動で抽出し、肌色の統計モデルを構築するのは簡単でした。いくつかの調整とデバッグを経て、驚くほど堅牢なリアルタイムヘッドトラッキングシステムが完成しました。

その後間もなく、指導教官から、来訪中の企業幹部数名にシステムのデモンストレーションをするよう依頼されました。彼らが部屋に入ってきた瞬間、私は不安で胸が締め付けられました。幹部たちは日本人だったのです。シンプルな統計モデルがプロトタイプで機能するかどうかを確かめるという気軽な実験で、私自身と、たまたまその建物にいた数人からデータを収集しました。ところが、被験者全員が「白人」の肌をしていたのです。日本人幹部はそうではありませんでした。

奇跡的に、このシステムは幹部たちにはそれなりにうまく機能しました。しかし、私は自分が人種的に偏ったシステムを作ってしまい、他の非白人にとっては簡単に機能しなくなる可能性があったことに気づき、ショックを受けました。

特権と優先順位

十分な教育を受け、善意を持つ科学者が、なぜ、そしてどのようにして偏ったAIシステムを生み出すのでしょうか？特権に関する社会学理論は、その答えを見つけるための有用な視点の一つとなります。

私がヘッドトラッキングシステムを開発する10年前、学者のペギー・マッキントッシュは、白人が持ち歩く「見えないナップザック」というアイデアを提唱しました。そのナップザックの中には、「困難な状況でも、自分の人種の誇りだと言われることなくうまくやっていける」「文化的なアウトサイダーと見なされることなく、政府を批判し、その政策や行動をどれほど恐れているかを語ることができる」といった特権の宝庫が詰まっています。

AI時代において、そのナップザックには新たな要素がいくつか必要となる。例えば、「AIシステムは私の人種のせいで悪い結果を出さない」といった要素だ。白人科学者の目に見えないナップザックには、「自分の外見に基づいてAIシステムを開発でき、それがほとんどのユーザーにとってうまく機能すると確信できる」といった要素も必要となるだろう。

AI研究者でありアーティストでもあるジョイ・ブオラムウィニのビデオ詩「AI、私は女性ではないのか？」

白人特権への対策として提案されているものの一つは、積極的に反人種差別主義を実践することです。1998年のヘッドトラッキングシステムの場合、反人種差別主義の対策はあらゆる肌の色を平等に扱うことだと自明に思えるかもしれません。確かに、システムのトレーニングデータがあらゆる肌の色の範囲を可能な限り平等に表すようにすることは可能であり、またそうすべきです。

残念ながら、これはシステムが観測するすべての肌の色が平等に扱われることを保証するものではありません。システムはあらゆる色を肌色か非肌色かに分類しなければなりません。そのため、肌色と非肌の境界線上に色が存在することになります。この領域はコンピュータ科学者が「決定境界」と呼んでいます。肌の色がこの決定境界を越える人は、誤って分類されてしまいます。

科学者は、多様性を機械学習モデルに組み込む際に、厄介な潜在意識のジレンマにも直面します。多様で包括的なモデルは、限定的なモデルよりもパフォーマンスが悪くなります。

これを簡単な例えで説明しましょう。2つの課題から選択する課題があると想像してください。課題Aは、例えばニレなど、特定の種類の木を特定する課題です。課題Bは、ニレ、トネリコ、ハリエンジュ、ブナ、クルミの5種類の木を特定する課題です。練習時間が一定であれば、課題Aの方が課題Bよりも良い成績を収められるのは明らかです。

同様に、白い肌だけを追跡するアルゴリズムは、人間の肌の色をすべて追跡するアルゴリズムよりも正確です。科学者は多様性と公平性の必要性を認識していても、無意識のうちにこの相反する正確さへの欲求に影響を受けてしまうことがあります。

数字に隠されたもの

私が偏ったアルゴリズムを作ったのは軽率で、不快感を与える可能性がありました。さらに懸念されるのは、この出来事が、AIシステムの奥深くに偏りが潜んでいる可能性があることを示していることです。その理由を理解するために、3行4列の行列にある12個の数字の集合を考えてみましょう。これらは人種差別的に見えますか？私が1998年に開発したヘッドトラッキングアルゴリズムは、肌の色モデルを記述するこのような行列によって制御されています。しかし、これらの数字だけから、これが実際に人種差別的な行列であると判断することは不可能です。これらは単なる数字であり、コンピュータープログラムによって自動的に決定されているに過ぎません。

現代の機械学習システムでは、明白な場所に潜むバイアスの問題ははるかに深刻です。現在最も普及し、最も強力なAIモデルであるディープニューラルネットワークは、バイアスをエンコードできる数百万もの数値をしばしば持っています。「AI、私は女じゃないのか？」で批判されている、バイアスのかかった顔認識システムはすべてディープニューラルネットワークです。

朗報としては、AIの公平性に関しては、学界と産業界の両方で既に大きな進歩が遂げられていることが挙げられます。例えば、マイクロソフトにはAIにおける公平性、説明責任、透明性、倫理性に特化したFATEという研究グループがあります。また、機械学習の主要なカンファレンスであるNeurIPSは、論文を投稿する研究者が考慮すべき8項目の社会的悪影響リストを含む、詳細な倫理ガイドラインを策定しています。

部屋にいる人がテーブルにいる人と同じ

一方、2023年になっても、公平性は学界や産業界における競争圧力の犠牲になりかねません。GoogleとMicrosoftの欠陥を抱えたBardとBingのチャットボットは、この厳しい現実を如実に物語っています。市場シェア拡大という商業的必要性から、これらのシステムの早期リリースが実現したのです。

これらのシステムは、私が1998年に開発したヘッドトラッカーと全く同じ問題を抱えています。学習データには偏りがあり、代表性のないグループによって設計されています。すべてのカテゴリーを平等に扱うことは数学的に不可能です。何らかの方法で精度を犠牲にして公平性を保たなければなりません。そして、その偏りは数百万もの不可解な数値パラメータの背後に隠れているのです。

では、25年以上前、博士課程の学生が人種差別的なアルゴリズムを設計し、その結果を何の監視も受けず、何の影響も受けずに公開することが可能だった時代から、AI分野は一体どれほど進歩したのでしょうか？ 偏見のあるAIシステムが意図せず、容易に作成されてしまうことは明らかです。また、こうしたシステムにおける偏見は有害であり、検出が困難で、排除するのはさらに困難であることも明らかです。

昨今、産業界や学界には、アルゴリズムを設計する「場」に多様な人材が必要だという言い回しは、もはや陳腐な表現となっています。この分野がそのような状況にまで達すれば、それは望ましいことです。しかし現実には、北米のコンピュータサイエンスの博士課程を修了する女性の割合はわずか23%、黒人およびラテン系の学生はわずか3%に過ぎません。そのため、マイノリティグループが全く代表されていない場やアルゴリズムが、今後も数多く存在し続けるでしょう。

だからこそ、1998 年に私がヘッド トラッカーから得た基本的な教訓は、今日ではさらに重要になっています。つまり、間違いを犯しやすく、気付かれずに偏見が入り込みやすく、その場にいる全員にそれを防ぐ責任があるということです。

AI、チャットボット、そして機械学習の未来についてもっと知りたいですか？人工知能に関する当社の記事をぜひご覧ください。また、「最高の無料AIアートジェネレーター」や「OpenAIのChatGPTについて私たちが知っていることすべて」といったガイドもご覧ください。

ジョン・マコーミック、ディキンソン大学コンピュータサイエンス教授

この記事はクリエイティブ・コモンズ・ライセンスに基づきThe Conversationから転載されました。元の記事はこちらです。