Valore p

Un valore p è la probabilità — sotto l'ipotesi che l'ipotesi nulla $H_0$ sia vera — di osservare dati almeno tanto estremi quanto il campione effettivo. Valori p piccoli significano che i dati osservati sarebbero improbabili se $H_0$ fosse vera, fornendo evidenza contro $H_0$.

Convenzione: rifiutare $H_0$ se $p < \alpha$ (comunemente $\alpha = 0.05$). La soglia $\alpha$ è il tasso di errore di primo tipo che si accetta.

Idee sbagliate comuni (martellate da ogni docente di statistica):

• $p$ non è "la probabilità che $H_0$ sia vera".
• $p$ non è "la probabilità che il risultato sia dovuto al caso".
• Un $p$ piccolo non significa un effetto grande — solo un effetto improbabile sotto $H_0$. Con campioni enormi, effetti banalmente piccoli diventano "statisticamente significativi".
• $p > 0.05$ non è una prova che $H_0$ sia vera — solo evidenza insufficiente per rifiutarla.

L'American Statistical Association (2016) ha esplicitamente messo in guardia dal trattare i valori p come decisioni binarie "significativo / non significativo"; riporta accanto a essi le dimensioni dell'effetto e gli intervalli di confidenza.