Valor-p

Um valor-p é a probabilidade — sob a suposição de que a hipótese nula $H_0$ é verdadeira — de observar dados pelo menos tão extremos quanto a amostra real. Valores-p pequenos significam que os dados observados seriam improváveis se $H_0$ fosse verdadeira, fornecendo evidência contra $H_0$.

Convenção: rejeitar $H_0$ se $p < \alpha$ (comumente $\alpha = 0.05$). O limiar $\alpha$ é a taxa de erro do tipo I que você aceita.

Equívocos comuns (martelados por todo professor de estatística):

• $p$ não é "a probabilidade de $H_0$ ser verdadeira."
• $p$ não é "a probabilidade de o resultado se dever ao acaso."
• Um $p$ pequeno não significa um efeito grande — apenas um efeito improvável sob $H_0$. Com amostras enormes, efeitos trivialmente pequenos tornam-se "estatisticamente significativos."
• $p > 0.05$ não é prova de que $H_0$ é verdadeira — apenas evidência insuficiente para rejeitá-la.

A American Statistical Association (2016) alertou explicitamente contra tratar os valores-p como decisões binárias "significativo / não significativo"; relate tamanhos de efeito e intervalos de confiança junto com eles.