Calcolatrice del valore p

Un valore p è la probabilità di osservare risultati del test tanto estremi quanto, o più estremi dei, risultati effettivi — assumendo vera l'ipotesi nulla $H_0$.

Formalmente, per una statistica test $T$ con valore osservato $t$:

• Coda destra: $p = P(T \geq t \mid H_0)$
• Coda sinistra: $p = P(T \leq t \mid H_0)$
• Bilaterale: $p = 2 \cdot P(T \geq |t| \mid H_0)$

Interpretazione: un valore p piccolo significa che i dati osservati sarebbero sorprendenti se $H_0$ fosse vera, quindi abbiamo evidenza contro $H_0$. Un valore p grande significa che i dati sono coerenti con $H_0$ — ma non dimostra che $H_0$ sia vera.

Regola decisionale: confronta $p$ con un livello di significatività scelto in anticipo $\alpha$ (tipicamente 0,05):

• $p < \alpha$ → rifiuta $H_0$ ('statisticamente significativo')
• $p \geq \alpha$ → non rifiutare $H_0$ (evidenza insufficiente)

Cosa il valore p NON è:

• Non è la probabilità che $H_0$ sia vera.
• Non è la probabilità che l'alternativa $H_1$ sia vera.
• Non è una misura della dimensione dell'effetto.
• Non distingue la 'significatività pratica' dalla 'significatività statistica'.

Passo per passo

1. Formula le ipotesi $H_0$ e $H_1$.
2. Scegli un test appropriato per i dati (test z, test t, chi-quadro, test F, ...).
3. Calcola la statistica test dai dati.
4. Determina la/le coda/e in base a $H_1$: coda destra ($>$), coda sinistra ($<$) o bilaterale ($\neq$).
5. Trova il valore p dalla distribuzione del test.
6. Confronta con $\alpha$ e concludi.

Valori p da una statistica Z

Per una normale standard $Z$:

• Coda destra: $p = 1 - \Phi(z)$
• Coda sinistra: $p = \Phi(z)$
• Bilaterale: $p = 2(1 - \Phi(|z|))$

Riferimento rapido: $z = 1.96$ → $p$ bilaterale $\approx 0.05$. $z = 2.576$ → $p$ bilaterale $\approx 0.01$.

Valori p da una statistica T

Usa la distribuzione t con $n - 1$ gradi di libertà (o come specificato dal test). Stessa logica di code di z, ma la distribuzione ha code leggermente più pesanti per gdl piccoli.

Valori p da una statistica Chi-quadro

I test chi-quadro sono intrinsecamente a coda destra perché $\chi^2 \geq 0$ e valori maggiori indicano un adattamento peggiore a $H_0$:

$p = P(\chi^2_{df} \geq \text{osservato})$

Unilaterale vs bilaterale: quale usare?

• Bilaterale: quando ti interessa la deviazione da $H_0$ in entrambe le direzioni. Predefinito nella maggior parte dei contesti accademici.
• Unilaterale: quando l'ipotesi alternativa è direzionale e pre-specificata ($H_1: \mu > 0$, non $\mu \neq 0$). Dimezza il valore p se la direzione corrisponde.

Non scegliere mai la coda dopo aver visto i dati — è p-hacking.

Soglie di significatività comuni

L'American Statistical Association ha messo in guardia contro il trattare $\alpha = 0.05$ come una linea netta — il contesto e la dimensione dell'effetto contano più del superamento di una soglia.

• 'Il valore p è la probabilità che $H_0$ sia vera': SBAGLIATO. Il valore p è calcolato assumendo vera $H_0$; non misura quanto sia probabile $H_0$.
• Trattare $p = 0.049$ e $p = 0.051$ come fondamentalmente diversi: non lo sono. La soglia di 0,05 è una convenzione, non una transizione di fase.
• Scegliere la coda dopo aver visto i dati: se vedi $z = -2$ e passi a un test a coda sinistra, hai raddoppiato il tasso di falsi positivi. Pre-specifica.
• Confondere significatività e dimensione dell'effetto: un effetto minuscolo con un campione enorme può essere 'altamente significativo' ma praticamente irrilevante. Riporta sempre la dimensione dell'effetto insieme ai valori p.
• Inflazione da confronti multipli: eseguendo 20 test con $\alpha = 0.05$, un falso positivo è atteso per caso. Usa le correzioni di Bonferroni o FDR.
• '$p > 0.05$ dimostra $H_0$': NO. Non rifiutare non equivale ad accettare. Significa solo che i dati non hanno evidenza sufficiente contro $H_0$ con questa dimensione campionaria.