p-Wert

Ein p-Wert ist die Wahrscheinlichkeit — unter der Annahme, dass die Nullhypothese $H_0$ wahr ist — Daten zu beobachten, die mindestens so extrem sind wie die tatsächliche Stichprobe. Kleine p-Werte bedeuten, dass die beobachteten Daten unwahrscheinlich wären, wenn $H_0$ wahr wäre, und liefern damit Evidenz gegen $H_0$.

Konvention: $H_0$ ablehnen, wenn $p < \alpha$ (üblicherweise $\alpha = 0.05$). Die Schwelle $\alpha$ ist die Fehlerrate erster Art, die du in Kauf nimmst.

Häufige Missverständnisse (von jeder Statistikdozentin eingebläut):

• $p$ ist nicht "die Wahrscheinlichkeit, dass $H_0$ wahr ist."
• $p$ ist nicht "die Wahrscheinlichkeit, dass das Ergebnis dem Zufall geschuldet ist."
• Ein kleines $p$ bedeutet keinen großen Effekt — nur einen unter $H_0$ unwahrscheinlichen Effekt. Bei riesigen Stichproben werden selbst verschwindend kleine Effekte "statistisch signifikant."
• $p > 0.05$ ist kein Beweis, dass $H_0$ wahr ist — nur unzureichende Evidenz, sie abzulehnen.

Die American Statistical Association (2016) warnte ausdrücklich davor, p-Werte als binäre "signifikant / nicht signifikant"-Entscheidungen zu behandeln; berichte Effektstärken und Konfidenzintervalle mit an.