「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿
コメント
注目のコメント
もうかれこれ25年前になりますが、こんな論文があります → https://pdfs.semanticscholar.org/fa63/cbf9b514a9bc4991a0ef48542b689e2fa08d.pdf
このトピックに興味を覚えた人なら必読。この議論に補足をしておくと、学術の世界では
・統計的有意差について論じてない→論文リジェクト、もしくは検定を求める
・統計的有意差がない→提案手法が優れているとは言えない→論文リジェクト
というのが往々にして起こります。
ただ、全く意味がないかというと、平均だけで何かの性能差を論じるのは危険な場合もあって、そのような場合にはやはり検定など統計的手法が求められます。以下の主張は当然すぎる。
「帰無仮説の基で計算したある検定統計量がその値となる確率(P値)が、有意水準(多くは5%)を下回れば、帰無仮説は棄却できる。
問題はP値が有意水準より大きい場合だ。この場合、帰無仮説を棄却できないが、帰無仮説が正しいことも示していない。結果、「有意差があるとはいえない」というあいまいな表現になる。」
以下は、一歩進んだ主張。「5%水準で有意」というのは、帰無仮説が正しい確率が5%以下だということなので、上記より正しい。
「(あるないの二分法ではなく)統計の不確実性を受け入れる必要がある」とした上で、「(統計的有意差ではなく)信頼区間を使うべきだ」と指摘。さらに、「信頼区間」という単語も「互換区間」(compatibility intervals)に言い換え、計算結果への過剰な信頼を避けるようにすべきだ」。
さらに、正しいのはP値の計算が前提にしている因果関係と分布に関する言及だろうが、その議論は統計学者に任せたい。