La verifica delle ipotesi è un quadro per usare i dati campionari per decidere tra due affermazioni in competizione su una popolazione:
- Ipotesi nulla : l'affermazione predefinita / "nulla di interessante" (per es. la moneta è equa, il farmaco non ha effetto).
- Ipotesi alternativa : ciò che sospettiamo / vogliamo dimostrare.
Procedura:
- Enunciare e .
- Scegliere un livello di significatività (comunemente 0,05) — la probabilità di un rifiuto errato (errore di tipo I).
- Calcolare una statistica test dai dati (punteggio z, statistica t, chi-quadrato, rapporto F).
- Calcolare il valore p — la probabilità, sotto , di osservare dati almeno altrettanto estremi.
- Decidere: se , rifiutare ; altrimenti non rifiutare.
Due tipi di errore:
- Tipo I: rifiutare una vera (probabilità ).
- Tipo II: non rifiutare una falsa (probabilità ); è la potenza.
Confusione comune: "non rifiutare" ≠ "accettare ". L'assenza di prove non è prova di assenza — campioni di piccole dimensioni possono nascondere effetti reali.
Questo quadro è alla base di studi clinici, test A/B, controllo qualità e della maggior parte delle affermazioni pubblicate di "significatività statistica".