仮説検定は、標本データを用いて母集団に関する 2 つの対立する主張のどちらかを決定する枠組みである:
- 帰無仮説 :既定の/「特に興味のない」主張(例:コインは公正、薬に効果はない)。
- 対立仮説 :我々が疑っている/示したいこと。
手順:
- と を立てる。
- 有意水準 (一般に 0.05)を選ぶ——誤って棄却する確率(第一種の誤り)。
- データから検定統計量を計算する(z 値、t 統計量、カイ二乗、F 比)。
- p 値を計算する—— のもとで、少なくとも同じくらい極端なデータが得られる確率。
- 判定: なら を棄却し、そうでなければ棄却しない。
2 種類の誤り:
- 第一種の誤り:真の を棄却する(確率 )。
- 第二種の誤り:偽の を棄却しない(確率 ); を検出力という。
よくある混同:「棄却しない」≠「 を採択する」。証拠がないことは、ないことの証拠ではない——標本サイズが小さいと本物の効果を見逃しうる。
この枠組みは臨床試験、A/B テスト、品質管理、そして発表される「統計的有意性」の主張の大半の土台となっている。