今日のオリジナル番組


詳細を確認
タブーに切り込め!ここがおかしい「日本の保険」
本日配信
144Picks
Pick に失敗しました

人気 Picker
分かりやすい。「精度」といっても色々な見方がある。

Recall:拾い切っている確率
Precision:拾ったものが合っている確率
http://zellij.hatenablog.com/entry/20120214/p1

記事からも窺えるが「精度9割」という「人間の言葉」は、ざっくり人間の9割くらい信じられるという意味であることが多い気がしている。でもそれは実際は複数条件で9割で、それらの掛け算でとんでもなく難しいこともある。
実際に出た結果で、どういうノイズがあるか(拾えていないもの、間違えて拾っちゃったもの)でどれだけ信頼できるかという感覚値も変わる。また、RecallとPrecisionどっちを優先したいか(現実は両方だけどあえてならどっちとか、それぞれ絶対的に必要なレベルはどれくらいか)など、課題定義をしっかり相互にして、結果を見ながら改善していける(記事にあるようにどこで使うという部分での採用含めた効率化なども)かが、AI活用のためにとても重要だと思う。
指標はSensitivity, Recall rateだけと思うことなかれ。

Precision and recall
https://en.wikipedia.org/wiki/Precision_and_recall
ほんとにあるあるですね。
精度というよりノイズという概念のほうが適しているレベルの議論。もし通信品質100%を目指すならチェックサムを付けるとかするしかない
AIの精度議論で良くある問題です。特に不良品検知のようにインバランスなデータでは特に注意が必要です。どのような判定精度を作りだせば、本当に業務改善できるのか、という視点が大事ですね。