Calculatrice de valeur p

Une valeur p est la probabilité d'observer des résultats de test aussi extrêmes que, ou plus extrêmes que, les résultats réels — en supposant que l'hypothèse nulle $H_0$ est vraie.

Formellement, pour une statistique de test $T$ de valeur observée $t$ :

• Unilatéral à droite : $p = P(T \geq t \mid H_0)$
• Unilatéral à gauche : $p = P(T \leq t \mid H_0)$
• Bilatéral : $p = 2 \cdot P(T \geq |t| \mid H_0)$

Interprétation : une petite valeur p signifie que les données observées seraient surprenantes si $H_0$ était vraie, on a donc des preuves contre $H_0$. Une grande valeur p signifie que les données sont compatibles avec $H_0$ — mais ne prouve pas que $H_0$ est vraie.

Règle de décision : comparer $p$ à un seuil de signification préchoisi $\alpha$ (typiquement 0,05) :

• $p < \alpha$ → rejeter $H_0$ (« statistiquement significatif »)
• $p \geq \alpha$ → ne pas rejeter $H_0$ (preuves insuffisantes)

Ce que la valeur p n'est PAS :

• Ce n'est pas la probabilité que $H_0$ soit vraie.
• Ce n'est pas la probabilité que l'alternative $H_1$ soit vraie.
• Ce n'est pas une mesure de la taille d'effet.
• Elle ne distingue pas la « significativité pratique » de la « significativité statistique ».

Étape par étape

1. Énoncer les hypothèses $H_0$ et $H_1$.
2. Choisir un test approprié aux données (test z, test t, khi-deux, test F, ...).
3. Calculer la statistique de test à partir des données.
4. Déterminer la ou les queues selon $H_1$ : unilatéral à droite ($>$), unilatéral à gauche ($<$) ou bilatéral ($\neq$).
5. Trouver la valeur p à partir de la distribution du test.
6. Comparer à $\alpha$ et conclure.

Valeurs p à partir d'une statistique Z

Pour une loi normale centrée réduite $Z$ :

• Unilatéral à droite : $p = 1 - \Phi(z)$
• Unilatéral à gauche : $p = \Phi(z)$
• Bilatéral : $p = 2(1 - \Phi(|z|))$

Référence rapide : $z = 1.96$ → $p \approx 0.05$ bilatéral. $z = 2.576$ → $p \approx 0.01$ bilatéral.

Valeurs p à partir d'une statistique T

Utiliser la loi de Student à $n - 1$ degrés de liberté (ou selon ce que spécifie le test). Même logique de queues que pour z, mais la distribution a des queues légèrement plus lourdes pour un petit nombre de degrés de liberté.

Valeurs p à partir d'une statistique du khi-deux

Les tests du khi-deux sont intrinsèquement unilatéraux à droite car $\chi^2 \geq 0$ et des valeurs plus grandes indiquent un moins bon ajustement à $H_0$ :

$p = P(\chi^2_{df} \geq \text{observed})$

Unilatéral ou bilatéral : lequel utiliser ?

• Bilatéral : quand vous vous souciez d'un écart à $H_0$ dans les deux directions. Par défaut dans la plupart des contextes académiques.
• Unilatéral : quand l'hypothèse alternative est directionnelle et préspécifiée ($H_1: \mu > 0$, et non $\mu \neq 0$). Divise par deux la valeur p si la direction correspond.

Ne choisissez jamais la queue après avoir vu les données — c'est du p-hacking.

Seuils de signification courants

L'American Statistical Association a mis en garde contre le traitement de $\alpha = 0.05$ comme une ligne nette — le contexte et la taille d'effet importent plus que le franchissement d'un seuil.

• « La valeur p est la probabilité que $H_0$ soit vraie » : FAUX. La valeur p est calculée en supposant $H_0$ vraie ; elle ne mesure pas la probabilité que $H_0$ le soit.
• Traiter $p = 0.049$ et $p = 0.051$ comme fondamentalement différents : ils ne le sont pas. Le seuil de 0,05 est une convention, pas une transition de phase.
• Choisir la queue après avoir vu les données : si vous voyez $z = -2$ et passez à un test unilatéral à gauche, vous avez doublé votre taux de faux positifs. Préspécifiez.
• Confondre signification et taille d'effet : un effet minuscule avec un énorme échantillon peut être « hautement significatif » tout en étant pratiquement non pertinent. Rapportez toujours les tailles d'effet avec les valeurs p.
• Inflation par comparaisons multiples : en exécutant 20 tests à $\alpha = 0.05$, un faux positif est attendu par hasard. Utilisez les corrections de Bonferroni ou FDR.
• « $p > 0.05$ prouve $H_0$ » : NON. Ne pas rejeter n'est pas la même chose qu'accepter. Cela signifie juste que les données n'ont pas assez de preuves contre $H_0$ à cette taille d'échantillon.