Калькулятор p-значения

P-значение — это вероятность наблюдать результаты критерия столь же или более экстремальные, чем фактические результаты — при условии, что нулевая гипотеза $H_0$ истинна.

Формально для статистики критерия $T$ с наблюдаемым значением $t$:

• Правосторонний: $p = P(T \geq t \mid H_0)$
• Левосторонний: $p = P(T \leq t \mid H_0)$
• Двусторонний: $p = 2 \cdot P(T \geq |t| \mid H_0)$

Интерпретация: малое p-значение означает, что наблюдаемые данные были бы удивительны, если бы $H_0$ была истинна, поэтому у нас есть свидетельство против $H_0$. Большое p-значение означает, что данные согласуются с $H_0$ — но не доказывает, что $H_0$ истинна.

Правило принятия решения: сравните $p$ с заранее выбранным уровнем значимости $\alpha$ (обычно 0,05):

• $p < \alpha$ → отвергнуть $H_0$ («статистически значимо»)
• $p \geq \alpha$ → не отвергать $H_0$ (недостаточно свидетельств)

Чем p-значение НЕ является:

• Это не вероятность того, что $H_0$ истинна.
• Это не вероятность того, что альтернатива $H_1$ истинна.
• Это не мера размера эффекта.
• Оно не различает «практическую значимость» и «статистическую значимость».

Пошагово

1. Сформулируйте гипотезы $H_0$ и $H_1$.
2. Выберите критерий, подходящий для данных (z-критерий, t-критерий, хи-квадрат, F-критерий, ...).
3. Вычислите статистику критерия по данным.
4. Определите хвост(ы) на основе $H_1$: правосторонний ($>$), левосторонний ($<$) или двусторонний ($\neq$).
5. Найдите p-значение из распределения критерия.
6. Сравните с $\alpha$ и сделайте вывод.

P-значения из z-статистики

Для стандартного нормального $Z$:

• Правосторонний: $p = 1 - \Phi(z)$
• Левосторонний: $p = \Phi(z)$
• Двусторонний: $p = 2(1 - \Phi(|z|))$

Быстрая справка: $z = 1.96$ → двусторонний $p \approx 0.05$. $z = 2.576$ → двусторонний $p \approx 0.01$.

P-значения из t-статистики

Используйте распределение Стьюдента с $n - 1$ степенями свободы (или как указано в критерии). Та же логика хвостов, что и у z, но распределение имеет немного более тяжёлые хвосты при малом df.

P-значения из статистики хи-квадрат

Критерии хи-квадрат по своей сути правосторонние, потому что $\chi^2 \geq 0$, а большие значения указывают на худшее соответствие $H_0$:

$p = P(\chi^2_{df} \geq \text{наблюдаемое})$

Односторонний или двусторонний: какой использовать?

• Двусторонний: когда вас интересует отклонение от $H_0$ в любом направлении. По умолчанию в большинстве академических контекстов.
• Односторонний: когда альтернативная гипотеза направленная и заранее заданная ($H_1: \mu > 0$, а не $\mu \neq 0$). Уменьшает p-значение вдвое, если направление совпадает.

Никогда не выбирайте хвост после просмотра данных — это p-хакинг.

Распространённые пороги значимости

Американская статистическая ассоциация предостерегала от трактовки $\alpha = 0.05$ как чёткой границы — контекст и размер эффекта важнее, чем пересечение порога.

• «P-значение — это вероятность того, что $H_0$ истинна»: НЕВЕРНО. P-значение вычисляется в предположении, что $H_0$ истинна; оно не измеряет, насколько вероятна $H_0$.
• Трактовка $p = 0.049$ и $p = 0.051$ как принципиально разных: это не так. Порог 0,05 — это соглашение, а не фазовый переход.
• Выбор хвоста после просмотра данных: если вы видите $z = -2$ и переключаетесь на левосторонний критерий, вы удвоили частоту ложноположительных результатов. Задавайте заранее.
• Путают значимость с размером эффекта: крошечный эффект при огромной выборке может быть «высокозначимым», но практически нерелевантным. Всегда сообщайте размеры эффекта вместе с p-значениями.
• Инфляция от множественных сравнений: при 20 критериях с $\alpha = 0.05$ один ложноположительный результат ожидается по случайности. Используйте поправки Бонферрони или FDR.
• «$p > 0.05$ доказывает $H_0$»: НЕТ. Неотвержение не то же самое, что принятие. Это лишь означает, что данных недостаточно против $H_0$ при данном объёме выборки.