O teste de hipóteses é um arcabouço para usar dados amostrais a fim de decidir entre duas afirmações concorrentes sobre uma população:
- Hipótese nula : a afirmação padrão / "nada interessante" (por exemplo, a moeda é honesta, o medicamento não tem efeito).
- Hipótese alternativa : o que suspeitamos / queremos demonstrar.
Procedimento:
- Enunciar e .
- Escolher um nível de significância (comumente 0,05) — a probabilidade de rejeição falsa (erro do tipo I).
- Calcular uma estatística de teste a partir dos dados (escore z, estatística t, qui-quadrado, razão F).
- Calcular o valor-p — a probabilidade, sob , de observar dados ao menos tão extremos.
- Decidir: se , rejeitar ; caso contrário, não rejeitar.
Dois tipos de erro:
- Tipo I: rejeitar uma verdadeira (probabilidade ).
- Tipo II: não rejeitar uma falsa (probabilidade ); é o poder do teste.
Confusão comum: "não rejeitar" ≠ "aceitar ". A ausência de evidência não é evidência de ausência — tamanhos amostrais pequenos podem ocultar efeitos reais.
Esse arcabouço sustenta ensaios clínicos, testes A/B, controle de qualidade e a maioria das afirmações publicadas de "significância estatística".