電子機器製造工場が検品AI活用で陥った「精度9割」の落とし穴
コメント
注目のコメント
分かりやすい。「精度」といっても色々な見方がある。
Recall:拾い切っている確率
Precision:拾ったものが合っている確率
http://zellij.hatenablog.com/entry/20120214/p1
記事からも窺えるが「精度9割」という「人間の言葉」は、ざっくり人間の9割くらい信じられるという意味であることが多い気がしている。でもそれは実際は複数条件で9割で、それらの掛け算でとんでもなく難しいこともある。
実際に出た結果で、どういうノイズがあるか(拾えていないもの、間違えて拾っちゃったもの)でどれだけ信頼できるかという感覚値も変わる。また、RecallとPrecisionどっちを優先したいか(現実は両方だけどあえてならどっちとか、それぞれ絶対的に必要なレベルはどれくらいか)など、課題定義をしっかり相互にして、結果を見ながら改善していける(記事にあるようにどこで使うという部分での採用含めた効率化なども)かが、AI活用のためにとても重要だと思う。指標はSensitivity, Recall rateだけと思うことなかれ。
Precision and recall
https://en.wikipedia.org/wiki/Precision_and_recall