p値ではなく、例えば効果量(effect size) (スラド日記 2015-03-05)

 タレこまれてるBASP誌の p値(と帰無仮説による有意性テスト)も95%信頼区間も禁止の話。 元ネタは:

Traffimow, David, and Marks, Michael. (2015). [Editorial]. Basic and Applied Psychology, 37(1), 1-2. http://www.tandfonline.com/doi/full/10.1080/01973533.2015.1012991

p値は、帰無仮説でもデータ以上の偏りがでる確率。 5% で有意なら、 適当にデータを集め続ければ、20回に1つぐらい有意がでるはず。 僕が言語についての論文で他の分野の人が書いたものに ブツブツ言うのは、このタイプにみえるもの。

加えて、伝統的な手法にも問題がある。 例えば、適当な作例だけど、下の表で よくある2×2分割表の独立性検定をすると、 chi^2 = 0.53, d.f. = 1 なので、p値は 0.46 で有意ではない。

27, 33; 31, 29;

これは10倍したものだと、 chi^2 = 5.3, d.f. = 1 なので、p値は 0.02 で有意になる。

270, 330; 310, 290;

だけれども、効果量 effect size として phi相関係数を使えば、いずれも 0.067 になって、両方ダメだよね ということになる。

分野は違うし、統計はあまり使わないものの 感想としては、 方向性は賛成だけど、 いきなりは厳しい。 一般化線形モデルが下々まで降りてきて、 ユーザー向けの教科書が変わらないと難しいと思う。[追記 16h48] あとベイズも。いわゆる New Statistics の方向。