標準偏差は、入門統計学で最も誤解されている概念です。「ばらつきを測る」ものだとは知っていても、その数値が実際に何を意味するのかと問われると固まってしまいます。このガイドでは、幾何的・計算的・直感的の三通りで説明するので、次に論文や報告書で を見たとき、そこにあるものを本当に理解できるようになります。
やさしい言葉での定義
標準偏差はこう答えます:平均すると、各データ点は平均からどれくらい離れているか?
記号で表すと、平均 をもつ 個の値 の母集団について:
声に出して読むと:「偏差の二乗の平均、そして平方根」。
なぜ二乗してから平方根を取るのか?
「平均からの平均的な距離」への妥当な最初の試みは ——平均絶対偏差——かもしれません。これは機能し、統計学者も時々使います(外れ値に対してより頑健です)。
しかし絶対値は数学的に扱いにくいものです——ゼロで微分不可能で、導関数が発散し、それを使って微積分をきれいに行えません。二乗することでそれらすべてを回避でき、最後に平方根を取ることで単位がもとのスケールに戻ります(つまり がドル単位なら もドル単位であり、ドル² ではありません)。
これは、機械学習が二乗損失(平均二乗誤差)を使うのと同じ理由です——二乗は微分可能で、微積分と相性が良く、得られる推定量はしばしば最適になります。
母集団 vs 標本—— と の話
二つの公式が存在し、その違いは重要です。
- 母集団(すべてのデータを持っている): で割る。記号 。
- 標本(標本を持っていて、母集団を推定したい): で割る。記号 。
標本公式の はベッセル補正です。なぜか? を使うと母集団の標準偏差を系統的に過小評価してしまいます。なぜなら標本平均(これは構成上、標本に対する最良の当てはめです)を使ったため、真の母集団平均に対する場合よりも偏差が小さく押し縮められるからです。 ではなく で割ると、これをちょうど補償します。
ほとんどの計算機やソフトウェアは標本公式を既定とします。注意しましょう。
例題 1:小さな対称データセット
データ:。(8 個の値;古典的な教科書の例。)
- 平均:。
- 平均からの偏差:。
- 偏差の二乗:。
- 合計:。
- 母集団():分散 、。
- 標本():分散 、。
68-95-99.7 の法則(正規分布のみ)
データがおおよそ正規(釣鐘型)なら:
- 値の が平均から 以内に入ります。
- が 以内。
- が 以内。
これが「」または「2 シグマ」が「統計的に異常」の既定の口語的定義である理由です。
⚠️ 注意:この法則は正規分布にのみ適用されます。歪んだデータや裾の重いデータ(収入、応答時間)では、 がデータの 80%——あるいは 50%——をカバーすることもあります。68-95-99.7 の数値を引用する前に、必ず分布の形(ヒストグラム、QQ プロット)を確認しましょう。
標準偏差 vs 分散
分散は単に です。両者は同一の情報を含むのに、なぜ両方あるのでしょうか?
- 標準偏差はデータと同じ単位を持ちます——解釈しやすい。
- 分散は独立変数について加法的に分解できます(独立なとき )。これにより、証明・期待値・分散分析(ANOVA)にとって代数的に便利な量となります。
報告するときは を、計算するときは を使いましょう。
よくある間違い
- 文脈なしに を引用する。平均を知らなければ「」は何も意味しません。常にセットで:「平均 、」。
- 母集団と標本の公式を混同する。小さい標本では実際に差が出ます。大きい標本()では差はごくわずかです。
- 外れ値への感度を忘れる。一つの極端な値が を膨らませることがあります。裾の重いデータでは、頑健性のために中央絶対偏差(MAD)も報告しましょう。
- 正規でないデータに 68-95-99.7 を適用する。上記を参照。
自分で試してみよう
任意のデータセットを無料の標準偏差計算機に入力しましょう——母集団か標本かを選び、ステップごとの計算を見て、このガイドと照らし合わせて検証できます。
関連資料: