仮説検定は統計的推測の主役であり、臨床試験から Web サイトの A/B テストまであらゆる場面で使われています。しかし同時に、統計学で最も誤解されているトピックでもあります。このガイドでは全体の流れを一度だけ——明確に——たどり、p 値が本当は何を意味するのかを理解できるようにします。

5 つのステップ

注意：「棄却しない」≠「 $H_0$ を採択する」。単にそれに反する十分な証拠がないだけです。

一標本 z 検定（例題）

ある工場は電球が平均 1000 時間もつと主張しています（ $\sigma = 50$ ）。あなたは 25 個の電球を検査し、 $\bar x = 980$ を測定しました。 $\alpha = 0.05$ でこの主張は反証されるでしょうか？

$H_0: \mu = 1000$ 、 $H_1: \mu \ne 1000$ 。
$\alpha = 0.05$ 、両側検定。
検定統計量： $z = \frac{\bar x - \mu_0}{\sigma / \sqrt{n}} = \frac{980 - 1000}{50/\sqrt{25}} = \frac{-20}{10} = -2$ 。
p 値： $2 \cdot P(Z < -2) \approx 2 \cdot 0.0228 = 0.0456$ 。
$0.0456 < 0.05$ なので、 $H_0$ を棄却する。平均寿命は 1000 時間と有意に異なります。

この 3 つは連動して動きます。標本サイズを固定したまま $\alpha$ を小さくすると $\beta$ が大きくなり、標本サイズを大きくすると両方が小さくなります。

「p 値 = $H_0$ が真である確率」 ——誤りです。p 値は $P(\text{データ} \mid H_0)$ であり、 $P(H_0 \mid \text{データ})$ ではありません。
多重比較 —— $\alpha = 0.05$ で 20 回の検定を行うと、平均して約 1 件の偽陽性が必ず生じます。補正を使いましょう。
有意性と重要性の混同 ——巨大な $n$ を伴う微小な効果は、統計的には非常に有意でも実用上は無関係なことがあります。

仮説検定ソルバーにデータを入力すると、検定統計量、p 値、判断結果が得られます。