Valeur p

Une valeur p est la probabilité — sous l'hypothèse que l'hypothèse nulle $H_0$ est vraie — d'observer des données au moins aussi extrêmes que l'échantillon réel. De petites valeurs p signifient que les données observées seraient peu probables si $H_0$ était vraie, fournissant une preuve contre $H_0$.

Convention : rejeter $H_0$ si $p < \alpha$ (couramment $\alpha = 0,05$). Le seuil $\alpha$ est le taux d'erreur de première espèce que vous acceptez.

Idées fausses courantes (martelées par tout professeur de statistique) :

• $p$ n'est pas « la probabilité que $H_0$ soit vraie ».
• $p$ n'est pas « la probabilité que le résultat soit dû au hasard ».
• Un $p$ petit ne signifie pas un effet important — seulement un effet improbable sous $H_0$. Avec d'énormes échantillons, des effets infimes deviennent « statistiquement significatifs ».
• $p > 0,05$ n'est pas une preuve que $H_0$ est vraie — seulement une preuve insuffisante pour la rejeter.

L'American Statistical Association (2016) a explicitement mis en garde contre le traitement des valeurs p comme des décisions binaires « significatif / non significatif » ; rapportez les tailles d'effet et les intervalles de confiance à côté.