p値

p値とは、帰無仮説 $H_0$ が真であるという仮定のもとで、実際の標本と少なくとも同程度に極端なデータが観測される確率である。p値が小さいことは、$H_0$ が真であれば観測データが起こりにくいことを意味し、$H_0$ に反する証拠となる。

慣例：$p < \alpha$ のとき $H_0$ を棄却する（一般には $\alpha = 0.05$）。閾値 $\alpha$ は、許容する第一種の誤りの確率である。

よくある誤解（どの統計学の教員も繰り返し注意する点）：

• $p$ は「$H_0$ が真である確率」ではない。
• $p$ は「結果が偶然による確率」ではない。
• $p$ が小さくても効果が大きいことは意味せず、$H_0$ のもとで起こりにくい効果というだけである。標本が非常に大きいと、ごくわずかな効果でも「統計的に有意」になる。
• $p > 0.05$ は $H_0$ が真である証明ではなく、棄却するには証拠が不十分というだけである。

米国統計学会（2016年）は、p値を「有意／非有意」という二者択一の判断として扱うことに明確に警告し、効果量と信頼区間を併記するよう推奨している。