การทดสอบสมมติฐาน เป็นกรอบสำหรับใช้ข้อมูลตัวอย่างเพื่อตัดสินระหว่างข้อกล่าวอ้างที่แข่งขันกันสองข้อเกี่ยวกับประชากร:
- สมมติฐานว่าง : ข้อกล่าวอ้างตั้งต้น / "ไม่มีอะไรน่าสนใจ" (เช่น เหรียญเที่ยงตรง ยาไม่มีผล)
- สมมติฐานทางเลือก : สิ่งที่เราสงสัย / ต้องการแสดงให้เห็น
ขั้นตอน:
- ระบุ และ
- เลือก ระดับนัยสำคัญ (ทั่วไปคือ 0.05) — ความน่าจะเป็นของการปฏิเสธผิดพลาด (ความคลาดเคลื่อนแบบที่ 1)
- คำนวณ สถิติทดสอบ จากข้อมูล (คะแนน z, สถิติ t, ไค-สแควร์, อัตราส่วน F)
- คำนวณ ค่า p — ความน่าจะเป็นภายใต้ ที่จะพบข้อมูลที่สุดขั้วอย่างน้อยเท่าที่สังเกตได้
- ตัดสิน: ถ้า ให้ ปฏิเสธ ; มิฉะนั้นปฏิเสธไม่ได้
ความคลาดเคลื่อนสองชนิด:
- แบบที่ 1: ปฏิเสธ ที่เป็นจริง (ความน่าจะเป็น )
- แบบที่ 2: ปฏิเสธ ที่เป็นเท็จไม่ได้ (ความน่าจะเป็น ); คือ กำลังการทดสอบ (power)
ความสับสนที่พบบ่อย: "ปฏิเสธไม่ได้" ≠ "ยอมรับ " การไม่มีหลักฐานไม่ใช่หลักฐานของการไม่มีอยู่ — ขนาดตัวอย่างเล็กอาจซ่อนผลที่เป็นจริงไว้
กรอบนี้เป็นรากฐานของการทดลองทางคลินิก การทดสอบ A/B การควบคุมคุณภาพ และข้อกล่าวอ้างเรื่อง "นัยสำคัญทางสถิติ" ที่ตีพิมพ์เป็นส่วนใหญ่