Amazonもハマった、「AIを使うとき」の落とし穴
コメント
選択しているユーザー
なんか違う気がする
amazonがハマった事例として『応募者から寄せられる履歴書を審査するAIを使っていた。ところがこのAIが、女性の応募者を不当に低く評価していた、中略、なぜそのようなことが起きたのか、それはAIにモデルを構築させるために、過去の社員や応募に関するデータを与えていたからだった。米国でも、IT技術者はまだまだ男性の方が多い。そのためAIは、過去のデータから「男性を採用すべき」というモデルを作ってしまったのだ。』
との事だが、ハマった理由として『応募時のデータを使った』事と、『IT技術者は男性の方が多い』事としているが、そうではないと思う。
amazonの人事査定が女性を低く評価していた事をAIが正しく学習したにすぎない。
例えば、社員の人事査定データが、IT技術者が男性100人、女性20人だったとする。人数は男性が多い。次に正解データとして単純化して、入社後数年後の人事査定データをもとに、優秀か、がそうじゃなかを1か0かで与えるとする。2:8の法則で男性は100人の内20人が優秀だったとする。女性は20人の内4人が優秀だったとする。優秀な比率は同じと仮定する。これをAI（ディープラーニングなど）で学習するとどうなるか。男性は100のデータの内、20が優秀なので、性別が男性の優秀な確率は20%と学習する。次に女性は20のデータの内4が優秀なので、性別が女性の優秀な確率は20%と学習する。男女共、性別による優秀への影響の確率は同じである。するとAI（ディープラーニング）は、「性別は優秀かどうかには影響しない」と学習する。AIの仕組み上はこうなるはずである。
すなわち、本当は何が原因だったかと言うと、社内では男性のIT技術者の方が、女性のIT技術者よりも、比率的に高く優秀と人事査定されていた、という事実だったという事である。AIの使い方が間違えていたのではなく、人事査定の結果がそうだっただけである。記事では『AIが不当に女性を低く評価した』と書いてあるが、そうではない。過去の社内の人事査定の結果がそうだっただけである。
AIは意志を持たない。よって人財採用において、男女を一定の比率、もしくは応募者の比率で採用したいのであれば（ダイバーシティーの観点などから）、AIの出した結果を参考に、人間の意志を加味して判断を下す必要がある。
注目のコメント
AIを活用するに際した日本企業の課題は、データが活用できる状態にないことかと思っています。データは確かに社内に存在はしていますが、特定用途にしか用いられていない状態であり、AIに食べさせることができる状態にない。また、データを作る時点で、活用イメージがないため、活用をするに耐えられるデータになっていない等、活用から逆引きしたデータ作成やデータ格納を行っていかない限りは、AIを使って..というところまでたどり着かない印象です
【AI関連】
役所の諸手続きを見てると、行政こそ、AIの優先度高い気がする。いや、その前にそもそも電子化が先か。
______
2019年6月に、内閣府の統合イノベーション戦略推進会議が「AI戦略2019」を発表した。これは日本政府がAI（人工知能）の領域で取るべき政策を提言したもので、AIの社会実装において優先すべき分野などを示している。ここで書かれている、機械学習＝「教師あり学習」である。
正直いうと、教師あり学習には致命的な問題がある。それはまず、ビジネスや顧客に求められるのは、未来の予測とそれに基づく未来における正しい判断である。
しかし、この未来の予測や正しい判断のために使えるのは、過去のデータである。ここに原理的な問題が生まれる。過去のデータで未来を予測できるか。過去のデータを使って、未来に正しい判断が出来るか。
この問いの答は明らかである。ノーである。
したがって、AIの開発者は、いつも恐れている。顧客から「過去のデータを使って、未来の予測や判断が本当に正しくできるのですか」という素朴な疑問が来ることである。
この意味で、今のほぼすべてのAIは、この原理的で致命的な問題を抱えているとおもってよい。
これを越えることは、最も重要なデータ/AI活用の課題である。
実は、これは可能であるし、既に、そのようなAIの適用も進めている。
ただし、発想を相当変えなければいけない。これの概要については、以下に記載したので、興味ある人は読んでください。
https://comemo.nikkei.com/n/n45e31590f319
