P 值計算機

p 值是觀察到與實際結果一樣極端或更極端的檢定結果——在虛無假設 $H_0$ 為真的假設下的機率。

形式上，對於觀測值為 $t$ 的檢定統計量 $T$：

• 右尾：$p = P(T \geq t \mid H_0)$
• 左尾：$p = P(T \leq t \mid H_0)$
• 雙尾：$p = 2 \cdot P(T \geq |t| \mid H_0)$

詮釋：小的 p 值表示若 $H_0$ 為真，觀測到的資料會令人意外，所以我們有不利於 $H_0$ 的證據。大的 p 值表示資料與 $H_0$ 一致——但並不證明 $H_0$ 為真。

決策法則：將 $p$ 與預先選定的顯著水準 $\alpha$（通常為 0.05）比較：

• $p < \alpha$ → 拒絕 $H_0$（「具統計顯著性」）
• $p \geq \alpha$ → 未能拒絕 $H_0$（證據不足）

p 值不是什麼：

• 它不是 $H_0$ 為真的機率。
• 它不是對立假設 $H_1$ 為真的機率。
• 它不是效果量的度量。
• 它不區分「實務顯著性」與「統計顯著性」。

逐步說明

1. 陳述假設 $H_0$ 與 $H_1$。
2. 選擇適合資料的檢定（z 檢定、t 檢定、卡方、F 檢定……）。
3. 從資料計算檢定統計量。
4. 根據 $H_1$ 判斷尾數：右尾（$>$）、左尾（$<$）或雙尾（$\neq$）。
5. 從該檢定的分配求出 p 值。
6. 與 $\alpha$ 比較並下結論。

由 Z 統計量求 P 值

對於標準常態 $Z$：

• 右尾：$p = 1 - \Phi(z)$
• 左尾：$p = \Phi(z)$
• 雙尾：$p = 2(1 - \Phi(|z|))$

快速參考：$z = 1.96$ → 雙尾 $p \approx 0.05$。$z = 2.576$ → 雙尾 $p \approx 0.01$。

由 T 統計量求 P 值

使用自由度為 $n - 1$（或依檢定指定）的 t 分配。尾數邏輯與 z 相同，但對小自由度其分配尾部略重。

由卡方統計量求 P 值

卡方檢定本質上是右尾的，因為 $\chi^2 \geq 0$ 且較大值表示與 $H_0$ 的契合度較差：

$p = P(\chi^2_{df} \geq \text{observed})$

單尾 vs 雙尾：該用哪個？

• 雙尾：當你關心相對 $H_0$ 任一方向的偏離時。大多數學術情境的預設。
• 單尾：當對立假設具方向性且事先指定時（$H_1: \mu > 0$，而非 $\mu \neq 0$）。若方向相符，p 值減半。

切勿在看到資料後才選尾數——那是 p 值操弄（p-hacking）。

常見的顯著性門檻

美國統計學會曾警告，不應將 $\alpha = 0.05$ 當作明確的分界線——情境與效果量比跨越門檻更重要。

• 「p 值是 $H_0$ 為真的機率」：錯誤。p 值是假設 $H_0$ 為真而計算的；它並不衡量 $H_0$ 有多可能。
• 把 $p = 0.049$ 與 $p = 0.051$ 視為根本不同：它們並不是。0.05 門檻是慣例，而非相變。
• 看到資料後才選尾數：若你看到 $z = -2$ 後改用左尾檢定，你的偽陽性率就翻倍了。要事先指定。
• 混淆顯著性與效果量：在巨大樣本下微小效果可能「高度顯著」卻在實務上無關緊要。務必在 p 值旁一併報告效果量。
• 多重比較膨脹：在 $\alpha = 0.05$ 下做 20 次檢定，依機率預期會有一個偽陽性。使用 Bonferroni 或 FDR 校正。
• 「$p > 0.05$ 證明 $H_0$」：不。未能拒絕不等於接受。它只表示在此樣本數下資料沒有足夠不利於 $H_0$ 的證據。