Reference News Networkは9月24日、フォーブス誌のウェブサイトが8月24日に報じた内容に基づき、フィンテック系スタートアップ企業が最近、簡単な実験を行ったと報じました。この企業は、人工知能（AI）によるローン承認モデルに、同一の申請者2名を登録しました。一方の書類では、申請者について「安定した職歴があり、2度の短い空白期間がある」と説明していました。もう一方の書類では、全く正反対の「複数回の就業中断」と記載されていました。事実は同じなのに、提示内容は異なっていました。
結果は？ AIは最初のローンを承認しましたが、もう1つは却下しました。
創業者たちは突如として気づきました。機械は中立的ではないのです。人間と同じように、機械も言語に反応するのです。
数十年前、行動経済学者のエイモス・トヴェルスキーとダニエル・カーネマンは、人間は合理的な計算者ではないと指摘しました。私たちは、迅速な意思決定に役立つヒューリスティックな近道に頼りますが、しばしば誤った判断を招きます。憂慮すべきことに、人間のデータと意思決定に基づくAIにも、同じ欠陥があるのです。
1. 代表性：ステレオタイプの罠
私たちは類似性と現実を混同しがちです。確率を論理ではなく類似性に基づいて判断することがよくあります。だからこそ、人々は「フェミニストの銀行員」の方が「銀行員」よりも現実にいる可能性が高いと想定してしまうのです。これは、トヴェルスキーとカーネマンのリンダ問題として知られる典型的なシナリオです。あるいは、ほとんどの人（背の高い人も含めて）がバスケットボールをしていないにもかかわらず、背の高い人はバスケットボールが上手だと私たちは思い込んでしまうのです。
AIもこの罠の例外ではありません。Amazonはかつて、履歴書選考ツールが一貫して男性プログラマーを優遇していたという理由で、あるツールを棚上げにしました。その理由は？このツールは長年の採用データに基づいて学習されており、過去にはプログラミングの仕事のほとんどは男性が担っていたのです。もう一つの悪名高い例は、黒人を「ゴリラ」と分類した画像認識システムです。このバイアスは機械が作り出したものではなく、人間の反応から学習したのです。
2. 可用性：鮮明な状況を記憶する
記憶しやすいものは、より現実的に感じられます。
鮮明で記憶に残る事例があると、私たちはリスクを過大評価してしまいます。2001年のニューヨーク市世界貿易センタービルへのテロ攻撃の後、多くのアメリカ人は飛行機ではなく車を選び、明らかに飛行機の危険性を誇張していました。サメによる襲撃はニュースの見出しとなり、人々は溺死や交通事故よりもはるかに多くを恐れます。統計的には、サメによる襲撃の方がはるかに多く発生しています。
AIも同じ過ちを犯します。チャットボットはセンセーショナルな有名人のスキャンダルを速報したがります。なぜなら、こうしたニュースがオンライン上で圧倒的に多く取り上げられる一方で、より日常的でありふれた出来事は埋もれてしまうからです。予測型警察システムは、逮捕歴の多い地域に過度に焦点を当てます。必ずしもそこがより危険だからではなく、「データ」がより容易に目につくからです。AIに荒野の写真を与えれば、ありふれた風景ではなく、雄大な山やきらめく海を映し出します。人間は陸地の写真を撮ることは滅多にないからです。
3. アンカリング：最初の数字が痕跡を残す
最初に目にする数字は、その後のすべてを歪めます。
最初に目にした数字は記憶に残り、その後のすべてを歪めてしまいます。買い物客は、水増しされた「元の価格」に固執することで、割引を過大評価してしまいます。裁判官でさえ、アンカーとなる数字が無関係であるはずなのに、高い数字が出た後にはより厳しい判決を下すことがあります。学生にスターバックスの店舗売上を推定させる際、まず電話番号の下2桁を書き留めさせましょう。電話番号の数字が大きい学生は、明らかに2つの数字に関連性がないにもかかわらず、一貫して高い売上を推定します。
AIの回答も同様にアンカーリングの影響を受けやすいです。モデルに「なぜリモートワークはうまくいかないのか？」と質問すると、一連の失敗例を挙げます。質問を「なぜリモートワークが急増しているのか？」と言い換えると、正反対の答えが返ってきます。アンカーは最初のフレーズで確立されます。
4. プレゼンテーション：同じ事実、異なる選択肢
重要なのは数字だけでなく、それをどのように解釈するかです。
たとえ事実が全く同じであっても、情報の提示方法によって意思決定が変わる可能性があります。 「生存率90%」の手術は、「死亡率10%」の手術よりもはるかに魅力的に聞こえます。投資家は、「上昇の可能性が20%」と宣伝されている株を、「上昇の可能性がない可能性が80%」と宣伝されている株よりも買いたがります。
AIも同じ手がかりを捉えます。感情モデルは、「見通しが改善している」と言うか、「見通しの悪化が緩やかになっている」と言うかによって、異なるバイアスを持ちます。商品が「損失を回避する」ではなく「お金を節約する」と説明されている場合、AIマーケティングシステムは表現を変えます。言葉遣いが変わり、出力も変わります。
5. 損失回避：損失の痛みは利益のメリットを上回る
損失の痛みは利益の喜びをはるかに上回ります。投資家が損失を出す株を保有し続けるのは、売却すると痛みを固定してしまうような気がするからです。人々はまた、無料のコンサートチケットを公正な市場価格で購入することを拒否します。なぜなら、たとえ自分自身が市場価格を支払うつもりがなくても、それを売ることは価値のあるものを手放すような気がするからです。
AIにも損失回避の傾向が見られます。推薦システムは、ポップヒット曲のような安全で主流のヒット曲を、失敗する可能性のあるリスクの高いあまり知られていないヒット曲よりも優先する傾向があります。さらに、モデルは一度学習すると、古い「事前確率」に固執し、新たな証拠がより良い方向性を示唆しても更新を拒否します。
6. 自信過剰：正確さの錯覚を生み出す
私たちは実際よりも確信しているように見せかけます。
私たちは常に自分の知識を過大評価しています。起業家は自分のスタートアップが成功する可能性を誇張します。医師はデータが裏付けていなくても、非現実的な確信を持って大胆な診断を下します。人々は、同じデータから得られた1250のような丸められた数字よりも、1249.36のような正確な数字を信頼します。
AIも同じです。生成モデルは、あたかも絶対的な真実を伝えているかのように、自信満々に引用文やその他の「錯覚」を捏造します。予測システムは、現実世界の複雑な不確実性を無視して、狭い確率範囲を割り当てます。私たち人間と同じように、予測システムも、本来そうであるべきでないのに、確実なように見せかけます。
7. 確率の重み付け：確率の歪曲
小さな可能性は大きく見え、大きな可能性は小さく見えます。
人間は小さな確率を誇張し、大きな確率を過小評価します。これが、多くの人が法外なオッズにもかかわらず宝くじを購入したり、電子機器の延長保証に過剰な金額を支払ったりする理由です。
AIも確率を読み間違えることがあります。不正検出システムは稀な異常を警告し、チャットボットは時に劇的でありながらあり得ない回答をし、より起こり得るありふれた退屈な結果を軽視してしまうのです。
8. 現状：馴染みのあるものを好む
より良い選択肢があっても、私たちは知っていることに固執します。
変化はリスクを感じるので、私たちは知っていることに固執します。退職後の貯蓄は、加入手続きが個人のオプトインから自動オプトイン（ただし、オプトアウトは任意）へと移行したことで急増しました。より安価なストリーミング配信オプションが利用可能になった後も、多くの家庭は高額なケーブルテレビプランに縛られていました。
AIは馴染みのあるものを好みます。オートコンプリート機能は、よく使われるフレーズやスペルミスさえも再利用するため、言語を予測可能な枠組みに閉じ込めてしまいます。法律関連のAIツールは、前例に大きく依存し、「これまでずっと行われてきた方法」を繰り返し、新しい領域を開拓するよりも、むしろ先例に頼っています。
人間のバイアスは、生き残るための近道として進化してきました。しかし、現代の世界では、それが裏目に出ることがよくあります。一方、AIのバイアスは、私たちのデータや設計上の選択の影に過ぎません。これらが組み合わさることで、フィードバックループが形成されます。人間のバイアスは機械を訓練し、機械は私たちのバイアスを強化します。
危険なのは、AIが人間のバイアスを取り入れるだけでなく、それを大規模に、迅速かつ正確に、そして権威を持って取り入れてしまうことです。たった一つの人間のバイアスが、誤った投資や判断ミスにつながる可能性があります。 AIのバイアスは何百万ものインタラクションを通じて増幅され、市場、政策、そして信念を静かに変化させる可能性があります。
問題はAIがバイアスを生み出すかどうかではありません。バイアスはすでに存在しています。真の問題は、私たちはどのように対処すべきかということです。これは、私がプロジェクト「懐疑的な知性」で探求している問いです。（趙飛飛 編集）
出典: 元記事を読む
※現在お読みいただいているこの記事は、国内外のニュースソース等から取得した情報を自動翻訳した上で掲載しています。
内容には翻訳による解釈の違いが生じる場合があり、また取得時の状況により本文以外の情報や改行、表などが正しく反映されない場合がございます。
順次改善に努めてまいりますので、参考情報としてご活用いただき、必要に応じて原文の確認をおすすめいたします。