p-값 계산기

p-값은 귀무가설 $H_0$이 참이라고 가정할 때, 실제 결과만큼 극단적이거나 더 극단적인 검정 결과를 관측할 확률입니다.

형식적으로, 관측값이 $t$인 검정통계량 $T$에 대해:

• 우측 검정: $p = P(T \geq t \mid H_0)$
• 좌측 검정: $p = P(T \leq t \mid H_0)$
• 양측 검정: $p = 2 \cdot P(T \geq |t| \mid H_0)$

해석: 작은 p-값은 $H_0$이 참이라면 관측된 데이터가 놀라울 것이므로 $H_0$에 반하는 증거가 있다는 의미입니다. 큰 p-값은 데이터가 $H_0$과 일관됨을 의미하지만 — $H_0$이 참임을 증명하지는 않습니다.

결정 규칙: $p$를 미리 선택한 유의수준 $\alpha$(보통 0.05)와 비교합니다.

• $p < \alpha$ → $H_0$ 기각 ('통계적으로 유의함')
• $p \geq \alpha$ → $H_0$ 기각 실패 (증거 부족)

p-값이 아닌 것:

• $H_0$이 참일 확률이 아닙니다.
• 대립가설 $H_1$이 참일 확률이 아닙니다.
• 효과 크기의 측도가 아닙니다.
• '실용적 유의성'을 '통계적 유의성'과 구별하지 않습니다.

단계별

1. 가설 $H_0$과 $H_1$을 진술합니다.
2. 데이터에 적합한 검정을 선택합니다(z-검정, t-검정, 카이제곱, F-검정 등).
3. 데이터로부터 검정통계량을 계산합니다.
4. $H_1$에 따라 꼬리를 결정합니다: 우측 검정($>$), 좌측 검정($<$), 양측 검정($\neq$).
5. 검정의 분포로부터 p-값을 구합니다.
6. $\alpha$와 비교하고 결론을 내립니다.

Z-통계량으로부터 p-값

표준정규 $Z$에 대해:

• 우측 검정: $p = 1 - \Phi(z)$
• 좌측 검정: $p = \Phi(z)$
• 양측 검정: $p = 2(1 - \Phi(|z|))$

빠른 참조: $z = 1.96$ → 양측 $p \approx 0.05$. $z = 2.576$ → 양측 $p \approx 0.01$.

T-통계량으로부터 p-값

자유도 $n - 1$인 t-분포(또는 검정에서 지정한 대로)를 사용합니다. z와 같은 꼬리 논리이지만, 작은 자유도에서는 분포의 꼬리가 약간 더 두껍습니다.

카이제곱 통계량으로부터 p-값

카이제곱 검정은 $\chi^2 \geq 0$이고 큰 값이 $H_0$에 대한 적합도가 나쁨을 나타내므로 본질적으로 우측 검정입니다.

$p = P(\chi^2_{df} \geq \text{관측값})$

단측 대 양측: 어느 것을 사용하는가?

• 양측: $H_0$으로부터의 편차가 어느 방향이든 관심이 있을 때. 대부분의 학술 환경에서 기본값.
• 단측: 대립가설이 방향성이 있고 미리 지정되었을 때($H_1: \mu > 0$, $\mu \neq 0$이 아님). 방향이 일치하면 p-값이 절반이 됩니다.

데이터를 본 후에 꼬리를 선택하지 마세요 — 그것은 p-해킹입니다.

흔한 유의성 임계값

미국통계학회는 $\alpha = 0.05$를 명확한 경계선으로 취급하는 것에 경고했습니다 — 임계값을 넘는 것보다 맥락과 효과 크기가 더 중요합니다.

• 'p-값은 $H_0$이 참일 확률이다': 틀림. p-값은 $H_0$이 참이라고 가정하고 계산됩니다; $H_0$이 얼마나 가능한지 측정하지 않습니다.
• $p = 0.049$와 $p = 0.051$을 근본적으로 다르게 취급: 다르지 않습니다. 0.05 임계값은 관례이지 상전이가 아닙니다.
• 데이터를 본 후 꼬리 선택: $z = -2$를 보고 좌측 검정으로 바꾸면 거짓양성률을 두 배로 한 것입니다. 미리 지정하세요.
• 유의성과 효과 크기 혼동: 거대한 표본에서 아주 작은 효과는 '매우 유의'할 수 있지만 실용적으로 무관할 수 있습니다. 항상 p-값과 함께 효과 크기를 보고하세요.
• 다중 비교 부풀림: $\alpha = 0.05$에서 20개의 검정을 실행하면 우연히 하나의 거짓양성이 예상됩니다. 본페로니나 FDR 보정을 사용하세요.
• '$p > 0.05$가 $H_0$을 증명한다': 아니요. 기각 실패는 채택과 같지 않습니다. 단지 이 표본 크기에서 $H_0$에 반하는 증거가 충분하지 않다는 의미입니다.