p値計算機

p値は、帰無仮説 $H_0$ が真であると仮定したときに、実際の結果と同じくらい、またはそれ以上に極端な検定結果が観測される確率です。

形式的には、観測値 $t$ を持つ検定統計量 $T$ について：

• 右側：$p = P(T \geq t \mid H_0)$
• 左側：$p = P(T \leq t \mid H_0)$
• 両側：$p = 2 \cdot P(T \geq |t| \mid H_0)$

解釈：小さいp値は、$H_0$ が真なら観測データが驚くべきものであることを意味し、$H_0$ に反する証拠があります。大きいp値はデータが $H_0$ と整合的であることを意味します — しかし $H_0$ が真であることを証明しません。

判断規則：$p$ をあらかじめ選んだ有意水準 $\alpha$（通常 0.05）と比較します。

• $p < \alpha$ → $H_0$ を棄却（「統計的に有意」）
• $p \geq \alpha$ → $H_0$ を棄却できない（証拠が不十分）

p値でないもの：

• $H_0$ が真である確率ではありません。
• 対立仮説 $H_1$ が真である確率ではありません。
• 効果量の尺度ではありません。
• 「実質的有意性」を「統計的有意性」から区別しません。

ステップごと

1. 仮説 $H_0$ と $H_1$ を立てる。
2. データに適した検定を選ぶ（z検定、t検定、カイ二乗、F検定など）。
3. データから検定統計量を計算する。
4. $H_1$ に基づいて裾を決める：右側（$>$）、左側（$<$）、両側（$\neq$）。
5. 検定の分布からp値を求める。
6. $\alpha$ と比較して結論する。

Z統計量からのp値

標準正規 $Z$ について：

• 右側：$p = 1 - \Phi(z)$
• 左側：$p = \Phi(z)$
• 両側：$p = 2(1 - \Phi(|z|))$

クイックリファレンス：$z = 1.96$ → 両側 $p \approx 0.05$。$z = 2.576$ → 両側 $p \approx 0.01$。

T統計量からのp値

自由度 $n - 1$ のt分布（または検定で指定されたもの）を使います。zと同じ裾の論理ですが、小さい自由度では分布の裾がやや重くなります。

カイ二乗統計量からのp値

カイ二乗検定は本質的に右側です。$\chi^2 \geq 0$ で、大きい値が $H_0$ への当てはまりの悪さを示すためです。

$p = P(\chi^2_{df} \geq \text{観測値})$

片側 vs 両側：どちらを使うか？

• 両側：$H_0$ からのどちらの方向への逸脱も気にする場合。ほとんどの学術的設定でのデフォルト。
• 片側：対立仮説が方向性を持ちあらかじめ指定されている場合（$H_1: \mu > 0$、$\mu \neq 0$ ではなく）。方向が一致すればp値が半分になります。

データを見た後で裾を選ばないでください — それはpハッキングです。

よくある有意性のしきい値

米国統計協会は $\alpha = 0.05$ を明確な境界線として扱うことに警告しています — しきい値を越えることより文脈と効果量のほうが重要です。

• 「p値は $H_0$ が真である確率」：誤り。p値は $H_0$ が真であると仮定して計算されます。$H_0$ がどれだけ起こりうるかは測りません。
• $p = 0.049$ と $p = 0.051$ を根本的に異なるものとして扱う：そうではありません。0.05 のしきい値は慣例であり相転移ではありません。
• データを見た後で裾を選ぶ：$z = -2$ を見て左側検定に切り替えると、偽陽性率が2倍になります。事前に指定してください。
• 有意性と効果量を混同する：巨大な標本での小さな効果は「高度に有意」でありながら実質的に無関係でありえます。p値とともに常に効果量を報告してください。
• 多重比較の膨張：$\alpha = 0.05$ で20回の検定を行うと、偶然により1件の偽陽性が予想されます。ボンフェローニまたはFDR補正を使ってください。
• 「$p > 0.05$ は $H_0$ を証明する」：いいえ。棄却できないことは受容と同じではありません。この標本サイズで $H_0$ に反する十分な証拠がデータにないことを意味するだけです。