AIの失敗に学ぶ：学習データ不足が引き起こす罠

AI・人工知能のデメリットとして、学習データの隔たりがあれば、結果が隔たりのあるものになる危険性がある。

こうした例は多くはないが、過去の失敗例を紹介しよう。

AIが白人や男性をひいきする失敗事例

AIの失敗例でよく知られる例が、アマゾン（Amazon）のAIリクルーティングツールだ。アマゾンのような大企業となると、毎年膨大な数の履歴書が送られてくる。

履歴書を一枚ずつ確認するのは途方もない作業となるため、アマゾンは履歴書を評価するリクルーティングAIを開発することにした。

完成したリクルーティングAIは、各項目に基づいて、履歴書の評価とスクリーニングを実施した。

しかし、アマゾンのAI開発チームは大きな問題に気づいた。このAIは女性を嫌ったのである。AIは女子大学出身者や「女子～」などの単語が記載された履歴書のほとんどをはじいたのだ。

一方、男性の履歴書で使用頻度の高い単語は、高く評価するようになった。この事実に気づいたアマゾンは、すぐにAIの改善に臨んだ。

アマゾンはトライアル期間中にAIの失敗を発見した。しかし、こうした偏見をほかにもAIが持っている可能性も捨てられないため、リクルーティングAIを処分したのである。

こうした失敗の理由は主に2つある。

AIに学習させるデータの不足や偏りが失敗の原因

アマゾンのAIが女性に不公平だった大きな原因は、開発段階でAIに与えたデータにある。AIは与えられたデータからしか学習できない。

アマゾンがリクルーティングAIを開発する際、学習データとして与えたのは、過去の応募者の履歴書である。当時のテック業界は特に女性の数が少なかった。履歴書面接の通過者は男性の方がずっと多く、AIは必然的に男性の方がマッチしていると学習してしまったのだ。

AI研究に携わるほとんどの人々が白人男性という事実も

そもそも、AIの開発段階で、研究者たちが学習データを偏りなく与えれば問題にならなかった。

だが、この失敗事例からも分かるように、中立なデータを与えられなかったのである。

ニューヨーク大学にあるAI研究機関AI Now Instituteは、AI業界の多様性について調査したレポートを発表している。

レポートによると、AIを研究する教授の80%は男性で、AI分野に携わる女性スタッフの割合は、フェイスブックやグーグルのような巨大企業でも、それぞれたった15%と10%だそうだ。

グーグルのフルタイム勤務者のうち、黒人の割合はたったの2.5%、ラテン系は3.6%。マイクロソフトやフェイスブックなども、似たような結果である。

この調査報告から分かるのは、AIに携わる大多数の人物は、白人男性ということである。こうした状況を意識しなければ、白人男性に有利なAIが開発されてしまう可能性もあったのである。

現在では、こうした失敗はよく知られており、中立的なデータの生成や学習の手法もさまざまに工夫されている。

 

Discriminating Systems - AI Now Institute［PDF］
https://ainowinstitute.org/discriminatingsystems.pdf

画像：Shutterstock