p-значение — это вероятность (при условии, что нулевая гипотеза $H_0$ верна) наблюдать данные, по крайней мере столь же экстремальные, как фактическая выборка. Малые p-значения означают, что наблюдаемые данные были бы маловероятны, если бы $H_0$ была верна, что даёт свидетельство против $H_0$ .

Соглашение: отвергнуть $H_0$ , если $p < \alpha$ (обычно $\alpha = 0{,}05$ ). Порог $\alpha$ — это уровень ошибки первого рода, который вы допускаете.

Распространённые заблуждения (которые вдалбливает каждый преподаватель статистики):

$p$ — это не «вероятность того, что $H_0$ верна».
$p$ — это не «вероятность того, что результат обусловлен случайностью».
Малое $p$ не означает большой эффект — лишь эффект, маловероятный при $H_0$ . При огромных выборках ничтожно малые эффекты становятся «статистически значимыми».
$p > 0{,}05$ — это не доказательство того, что $H_0$ верна, а лишь недостаточное свидетельство, чтобы её отвергнуть.

Американская статистическая ассоциация (2016) прямо предостерегла от трактовки p-значений как бинарных решений «значимо / незначимо»; сообщайте рядом с ними размеры эффекта и доверительные интервалы.