Kiểm định giả thuyết là một khuôn khổ dùng dữ liệu mẫu để quyết định giữa hai khẳng định cạnh tranh về một tổng thể:
- Giả thuyết không : khẳng định mặc định / "không có gì đáng chú ý" (ví dụ đồng xu cân đối, thuốc không có tác dụng).
- Giả thuyết đối : điều mà ta nghi ngờ / muốn chứng minh.
Quy trình:
- Phát biểu và .
- Chọn một mức ý nghĩa (thường là 0,05) — xác suất bác bỏ sai (sai lầm loại I).
- Tính một thống kê kiểm định từ dữ liệu (điểm z, thống kê t, khi bình phương, tỉ số F).
- Tính giá trị p — xác suất, dưới , quan sát được dữ liệu ít nhất cũng cực đoan như vậy.
- Quyết định: nếu , bác bỏ ; ngược lại thì không bác bỏ.
Hai loại sai lầm:
- Loại I: bác bỏ một đúng (xác suất ).
- Loại II: không bác bỏ một sai (xác suất ); là lực kiểm định (power).
Nhầm lẫn thường gặp: "không bác bỏ" ≠ "chấp nhận ". Vắng bằng chứng không phải là bằng chứng về sự vắng mặt — cỡ mẫu nhỏ có thể che giấu các hiệu ứng thực sự.
Khuôn khổ này là nền tảng của các thử nghiệm lâm sàng, kiểm thử A/B, kiểm soát chất lượng, và phần lớn các khẳng định "ý nghĩa thống kê" được công bố.