p값

p값은 — 귀무가설 $H_0$가 참이라는 가정 아래 — 실제 표본만큼 또는 그보다 극단적인 데이터가 관측될 확률이다. p값이 작다는 것은 $H_0$가 참이라면 관측된 데이터가 일어나기 어렵다는 뜻이며, $H_0$에 반하는 증거가 된다.

관례: $p < \alpha$이면 $H_0$를 기각한다(보통 $\alpha = 0.05$). 임계값 $\alpha$는 허용하는 제1종 오류율이다.

흔한 오해(모든 통계학 교수가 강조하는 점):

• $p$는 "$H_0$가 참일 확률"이 아니다.
• $p$는 "결과가 우연 때문일 확률"이 아니다.
• $p$가 작다고 해서 효과가 크다는 뜻은 아니며, $H_0$ 아래에서 일어나기 어려운 효과일 뿐이다. 표본이 매우 크면 사소하게 작은 효과도 "통계적으로 유의"해진다.
• $p > 0.05$는 $H_0$가 참이라는 증명이 아니라, 기각하기에 증거가 불충분할 뿐이다.

미국통계학회(2016년)는 p값을 "유의 / 비유의"라는 이분법적 결정으로 다루는 것에 명시적으로 경고했으며, 효과 크기와 신뢰구간을 함께 보고하라고 권고한다.