アルゴリズムがつくる「公正さ」には、差別を助長する危険性が潜んでいる：伊藤穰一
コメント
注目のコメント
「公正さ」とはなにか。
AIが台頭する中で、「公正とは？」「平等とは？」「差別とは？」という問いに対して、今一度向き合う必要性が再認識されてきました。
2018年にAmazon社が試験導入した人事AIが「女性差別をしていた」として報じられたのは記憶に新しいです。
データを正確に分析をしていくと、時には特定のカテゴリーの人々について特異な傾向が現れるのは事実です。その結果が差別を生む可能性があります。
（例えば、「南アフリカ共和国と日本の犯罪率を比較する→南アの方が犯罪率が高い→日本人よりも南ア人は危険だから要注意」というロジックが成立してしまう可能性があります。）
しかしその一方で、こうした傾向を分析することで効果的な行動が可能になるのも事実。
どこまでが全体最適のために許されるのか、どこからは差別に当たるのか、難しい線引きが迫られます。
世の中は「白or黒」の２元的世界ではなく、白と黒の中にあるグラデーションの中に存在しています。
完全に悪、とも完全に白、とも言えない状況を、どう打開していくべきなのでしょうか……模索は続きますね。とても読み応えある記事。とても馴染みのあるアルゴリズムという言葉や考え方。保険業界が例にありましたが、統計的に結果出ている、という判断にて堂々と差別は起きてしまう。
Uberなど中心に、個人間シェアエコ系アプリは信頼スコアを軸として金額設計もなされておりますが、実はこのアルゴリズムに我々が意図していない"誰かに有利な"式が組まれている可能性もある。
開発者側の立場からすると、アルゴリズムを明かしてしまうと他社に真似されてしまうというリスク観点もあり、全て明かされる事はそうそうは無い。
ただし利用者側としては、この記事の通りアルゴリズムの中身でどんなデータが軸で、どう計算され、どの様な判断でスコア化しているか、中身を理解していないと全く想定していない結果に繋がってしまう恐れがある。MITメディアラボ所長の伊藤穰一氏の寄稿記事。先週土曜の記事だが、極めて良記事。
今後、アンビエントコンピューティングが進むことで惹き起こされる可能性として想定されるアルゴリズムによる社会分断について、過去に保険会社が設定した「レッドライニング」によって惹き起こされた社会分断を取り上げて警鐘を鳴らしていると個人的に捉えた。
アルゴリズムはあくまで過去のデータに基づくもので、伊藤穰一氏が指摘するように「いまこの瞬間に「公正」とされることに頼るだけでは、歴史的な不公正を固定化してしまう」ことのなるだけだ。なぜなら「既存のアルゴリズムとそれに基づいたシステムは、理想の未来ではなく過去の規範に従っている」からだ。
これは永遠に負のループを作り出すだけで、社会の進歩どころかそれにブレーキをかけるだけであることになることに、実際にこうした流れにまさに当事者として関わる自分自身も常に意識を十分に向けなければならないが、極めて難解な課題である。
