가설 검정

가설 검정은 표본 데이터를 사용해 모집단에 관한 두 가지 경쟁하는 주장 중 하나를 결정하는 틀이다:

• 귀무가설 $H_0$: 기본값 / "흥미로울 것 없음" 주장(예: 동전은 공정하다, 약은 효과가 없다).
• 대립가설 $H_a$: 우리가 의심하거나 입증하고자 하는 것.

절차:

1. $H_0$ 와 $H_a$ 를 세운다.
2. 유의수준 $\alpha$(흔히 0.05)를 선택한다 — 거짓 기각(제1종 오류)의 확률.
3. 데이터로부터 검정통계량을 계산한다(z 점수, t 통계량, 카이제곱, F 비).
4. p값을 계산한다 — $H_0$ 하에서 적어도 그만큼 극단적인 데이터를 볼 확률.
5. 판정: $p < \alpha$ 이면 $H_0$ 을 기각하고, 그렇지 않으면 기각하지 못한다.

두 가지 오류 유형:

• 제1종 오류: 참인 $H_0$ 을 기각함(확률 $\alpha$).
• 제2종 오류: 거짓인 $H_0$ 을 기각하지 못함(확률 $\beta$); $1 - \beta$ 가 검정력이다.

흔한 혼동: "기각하지 못함" ≠ "$H_0$ 을 채택함". 증거의 부재는 부재의 증거가 아니다 — 표본 크기가 작으면 실제 효과를 놓칠 수 있다.

이 틀은 임상 시험, A/B 테스트, 품질 관리, 그리고 발표되는 "통계적 유의성" 주장 대부분의 토대가 된다.