Le test d'hypothèse est un cadre qui utilise des données d'échantillon pour trancher entre deux affirmations concurrentes sur une population :
- Hypothèse nulle : l'affirmation par défaut / « rien d'intéressant » (p. ex. la pièce est équilibrée, le médicament n'a aucun effet).
- Hypothèse alternative : ce que l'on soupçonne / souhaite démontrer.
Procédure :
- Énoncer et .
- Choisir un seuil de signification (couramment 0,05) — la probabilité d'un rejet à tort (erreur de type I).
- Calculer une statistique de test à partir des données (score z, statistique t, khi-deux, rapport F).
- Calculer la valeur p — la probabilité, sous , d'observer des données au moins aussi extrêmes.
- Décider : si , rejeter ; sinon, ne pas rejeter.
Deux types d'erreur :
- Type I : rejeter une vraie (probabilité ).
- Type II : ne pas rejeter une fausse (probabilité ) ; est la puissance.
Confusion fréquente : « ne pas rejeter » ≠ « accepter ». L'absence de preuve n'est pas la preuve de l'absence — des échantillons de petite taille peuvent masquer des effets réels.
Ce cadre sous-tend les essais cliniques, les tests A/B, le contrôle qualité et la plupart des affirmations publiées de « significativité statistique ».