Nilai-p

Nilai-p adalah probabilitas — dengan asumsi bahwa hipotesis nol $H_0$ benar — untuk mengamati data yang setidaknya sepadan ekstremnya dengan sampel aktual. Nilai-p kecil berarti data yang diamati tidak mungkin terjadi jika $H_0$ benar, memberikan bukti menentang $H_0$.

Konvensi: tolak $H_0$ jika $p < \alpha$ (umumnya $\alpha = 0.05$). Ambang batas $\alpha$ adalah tingkat galat Tipe I yang Anda terima.

Kesalahpahaman umum (yang ditekankan oleh setiap profesor statistika):

• $p$ bukan "probabilitas bahwa $H_0$ benar."
• $p$ bukan "probabilitas bahwa hasil tersebut disebabkan oleh kebetulan."
• Nilai $p$ kecil tidak berarti efek besar — hanya efek yang tidak mungkin di bawah $H_0$. Dengan sampel besar, efek yang sangat kecil sekalipun menjadi "signifikan secara statistik."
• $p > 0.05$ bukan bukti bahwa $H_0$ benar — hanya bukti yang tidak cukup untuk menolaknya.

American Statistical Association (2016) secara eksplisit memperingatkan agar tidak memperlakukan nilai-p sebagai keputusan biner "signifikan / tidak"; laporkan ukuran efek dan selang kepercayaan bersamanya.