AI入門
AIの失敗に学ぶ:学習データ不足が引き起こす罠

AI・人工知能のデメリットとして、学習データの隔たりがあれば、結果が隔たりのあるものになる危険性がある。
こうした例は多くはないが、過去の失敗例を紹介しよう。
AIの失敗例でよく知られる例が、アマゾン(Amazon)のAIリクルーティングツールだ。アマゾンのような大企業となると、毎年膨大な数の履歴書が送られてくる。
履歴書を一枚ずつ確認するのは途方もない作業となるため、アマゾンは履歴書を評価するリクルーティングAIを開発することにした。
完成したリクルーティングAIは、各項目に基づいて、履歴書の評価とスクリーニングを実施した。
しかし、アマゾンのAI開発チームは大きな問題に気づいた。このAIは女性を嫌ったのである。AIは女子大学出身者や「女子~」などの単語が記載された履歴書のほとんどをはじいたのだ。
一方、男性の履歴書で使用頻度の高い単語は、高く評価するようになった。この事実に気づいたアマゾンは、すぐにAIの改善に臨んだ。
アマゾンはトライアル期間中にAIの失敗を発見した。しかし、こうした偏見をほかにもAIが持っている可能性も捨てられないため、リクルーティングAIを処分したのである。
こうした失敗の理由は主に2つある。
アマゾンのAIが女性に不公平だった大きな原因は、開発段階でAIに与えたデータにある。AIは与えられたデータからしか学習できない。
アマゾンがリクルーティングAIを開発する際、学習データとして与えたのは、過去の応募者の履歴書である。当時のテック業界は特に女性の数が少なかった。履歴書面接の通過者は男性の方がずっと多く、AIは必然的に男性の方がマッチしていると学習してしまったのだ。

そもそも、AIの開発段階で、研究者たちが学習データを偏りなく与えれば問題にならなかった。
だが、この失敗事例からも分かるように、中立なデータを与えられなかったのである。
ニューヨーク大学にあるAI研究機関AI Now Instituteは、AI業界の多様性について調査したレポートを発表している。
レポートによると、AIを研究する教授の80%は男性で、AI分野に携わる女性スタッフの割合は、フェイスブックやグーグルのような巨大企業でも、それぞれたった15%と10%だそうだ。
グーグルのフルタイム勤務者のうち、黒人の割合はたったの2.5%、ラテン系は3.6%。マイクロソフトやフェイスブックなども、似たような結果である。
この調査報告から分かるのは、AIに携わる大多数の人物は、白人男性ということである。こうした状況を意識しなければ、白人男性に有利なAIが開発されてしまう可能性もあったのである。
現在では、こうした失敗はよく知られており、中立的なデータの生成や学習の手法もさまざまに工夫されている。
https://ainowinstitute.org/discriminatingsystems.pdf
画像:Shutterstock
こうした例は多くはないが、過去の失敗例を紹介しよう。
AIが白人や男性をひいきする失敗事例
AIの失敗例でよく知られる例が、アマゾン(Amazon)のAIリクルーティングツールだ。アマゾンのような大企業となると、毎年膨大な数の履歴書が送られてくる。
履歴書を一枚ずつ確認するのは途方もない作業となるため、アマゾンは履歴書を評価するリクルーティングAIを開発することにした。
完成したリクルーティングAIは、各項目に基づいて、履歴書の評価とスクリーニングを実施した。
しかし、アマゾンのAI開発チームは大きな問題に気づいた。このAIは女性を嫌ったのである。AIは女子大学出身者や「女子~」などの単語が記載された履歴書のほとんどをはじいたのだ。
一方、男性の履歴書で使用頻度の高い単語は、高く評価するようになった。この事実に気づいたアマゾンは、すぐにAIの改善に臨んだ。
アマゾンはトライアル期間中にAIの失敗を発見した。しかし、こうした偏見をほかにもAIが持っている可能性も捨てられないため、リクルーティングAIを処分したのである。
こうした失敗の理由は主に2つある。
AIに学習させるデータの不足や偏りが失敗の原因
アマゾンのAIが女性に不公平だった大きな原因は、開発段階でAIに与えたデータにある。AIは与えられたデータからしか学習できない。
アマゾンがリクルーティングAIを開発する際、学習データとして与えたのは、過去の応募者の履歴書である。当時のテック業界は特に女性の数が少なかった。履歴書面接の通過者は男性の方がずっと多く、AIは必然的に男性の方がマッチしていると学習してしまったのだ。
AI研究に携わるほとんどの人々が白人男性という事実も

そもそも、AIの開発段階で、研究者たちが学習データを偏りなく与えれば問題にならなかった。
だが、この失敗事例からも分かるように、中立なデータを与えられなかったのである。
ニューヨーク大学にあるAI研究機関AI Now Instituteは、AI業界の多様性について調査したレポートを発表している。
レポートによると、AIを研究する教授の80%は男性で、AI分野に携わる女性スタッフの割合は、フェイスブックやグーグルのような巨大企業でも、それぞれたった15%と10%だそうだ。
グーグルのフルタイム勤務者のうち、黒人の割合はたったの2.5%、ラテン系は3.6%。マイクロソフトやフェイスブックなども、似たような結果である。
この調査報告から分かるのは、AIに携わる大多数の人物は、白人男性ということである。こうした状況を意識しなければ、白人男性に有利なAIが開発されてしまう可能性もあったのである。
現在では、こうした失敗はよく知られており、中立的なデータの生成や学習の手法もさまざまに工夫されている。
Discriminating Systems - AI Now Institute[PDF]
https://ainowinstitute.org/discriminatingsystems.pdf
画像:Shutterstock
WRITTEN by
AIのビジネス活用に関する
最新情報をお届け