電子機器製造工場が検品ＡＩ活用で陥った「精度９割」の落とし穴

コメント

選択しているユーザー

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2021年05月31日

  AIの精度議論で良くある問題です。特に不良品検知のようにインバランスなデータでは特に注意が必要です。どのような判定精度を作りだせば、本当に業務改善できるのか、という視点が大事ですね。

注目のコメント

• Kato Jun

  ユーザベース SPEEDAアナリスト

  ・2021年05月20日

  分かりやすい。「精度」といっても色々な見方がある。
  
  Recall：拾い切っている確率
  Precision：拾ったものが合っている確率
  http://zellij.hatenablog.com/entry/20120214/p1
  
  記事からも窺えるが「精度9割」という「人間の言葉」は、ざっくり人間の9割くらい信じられるという意味であることが多い気がしている。でもそれは実際は複数条件で9割で、それらの掛け算でとんでもなく難しいこともある。
  実際に出た結果で、どういうノイズがあるか（拾えていないもの、間違えて拾っちゃったもの）でどれだけ信頼できるかという感覚値も変わる。また、RecallとPrecisionどっちを優先したいか（現実は両方だけどあえてならどっちとか、それぞれ絶対的に必要なレベルはどれくらいか）など、課題定義をしっかり相互にして、結果を見ながら改善していける（記事にあるようにどこで使うという部分での採用含めた効率化なども）かが、AI活用のためにとても重要だと思う。
• 山崎 俊彦

  東京大学 大学院情報理工学系研究科電子情報学専攻　教授

  ・2021年05月20日

  指標はSensitivity, Recall rateだけと思うことなかれ。
  
  Precision and recall
  https://en.wikipedia.org/wiki/Precision_and_recall
• シバタ アキラ

  Weights & Biases カントリーマネージャー

  ・2021年05月20日

  ほんとにあるあるですね。