p 值是在原假设 为真的假设下,观察到至少与实际样本一样极端之数据的概率。p 值小代表若 为真,所观察到的数据便不太可能出现,因而构成反对 的证据。
惯例:若 则拒绝 (常取 )。门槛 是你所接受的第一类错误率。
常见误解(每位统计学教授都会反复强调):
- 不是“ 为真的概率”。
- 不是“结果出于偶然的概率”。
- 小不代表效应大——只代表在 下不太可能出现的效应。样本极大时,微不足道的小效应也会变得“统计上显著”。
- 不能证明 为真——只是不足以拒绝它的证据。
美国统计学会(2016 年)明确警告不要把 p 值当成“显著/不显著”的二元决策;应同时报告效应量与置信区间。