Was ist ein p-Wert? Ein Experte erklärt die am meisten missverstandene Zahl in der Wissenschaft

Wenn Sie jemals versucht haben, eine wissenschaftliche Arbeit zu lesen, sind Sie mit ziemlicher Sicherheit auf einen p-Wert gestoßen. Und wenn Sie es verwirrend fanden, sind Sie in guter Gesellschaft: Auch viele arbeitende Wissenschaftler missverstehen es.

Der p-Wert ist eine Zahl, die die „statistische Signifikanz“ eines Experiments misst und oft als Maßstab dafür angesehen wird, ob das Experiment tatsächlich etwas gefunden hat oder nicht. Entscheiden Sie, ob Forscher sagen können, dass ein Medikament etwas bewirkt hat oder dass eine Gruppe sich von einer anderen unterschied.

Karrieren, Veröffentlichungen und unser Verständnis der Welt hängen von p-Werten ab. Deshalb lohnt es sich zu verstehen, was diese Zahlen wirklich bedeuten, denn das ist nicht das, was die meisten Menschen denken.

Was bedeutet ein p-Wert?

Angenommen, wir möchten wissen, ob Erwachsene in einem Land im Durchschnitt größer sind als Erwachsene in einem anderen. Wir können nicht jeden messen, deshalb nehmen wir eine Stichprobe von 50 Erwachsenen aus jedem Land.

Das erste Exemplar misst durchschnittlich 1,80 Meter, das zweite 1,77 Meter. Dieser 3-cm-Abstand allein sagt uns wenig, da sich zwei beliebige Proben bis zu einem gewissen Grad unterscheiden, allein schon aufgrund der Tatsache, wer ausgewählt wurde.

Ist die Lücke also ein guter Beweis für einen echten Unterschied in der Durchschnittsgröße der gesamten Bevölkerung? Oder kommt so etwas einfach durch Glück zustande?

Um das herauszufinden, führt ein Wissenschaftler einen statistischen Test durch, der einen p-Wert zurückgibt. Nehmen wir an, es ergibt sich p = 0,06.

Das bedeutet Folgendes: Wenn es wirklich keine Unterschiede zwischen den Ländern gäbe, würde aufgrund von Glück bei der Auswahl in etwa 6 % der Fälle eine mindestens ebenso große Lücke auftreten.

Beachten Sie nun, was es nicht bedeutet. Dies bedeutet weder, dass eine 6-prozentige Wahrscheinlichkeit besteht, dass das Ergebnis ein Zufall war, noch eine 94-prozentige Wahrscheinlichkeit, dass die beiden Länder tatsächlich unterschiedlich sind.

Der p-Wert gibt die Wahrscheinlichkeit eines so großen Unterschieds an, wenn nichts Reales passiert, nicht die Wahrscheinlichkeit, dass nichts Reales passiert. Die Leute vertauschen die beiden ständig und es ist einfach, es zu tun, selbst wenn man es besser weiß.

Warum 0,05?

Konventionell wird ein p-Wert von weniger als 0,05 als „statistisch signifikant“ bezeichnet. Unsere Höhenstudie mit einem p-Wert von 0,06 würde so geschrieben werden, dass sie keinen signifikanten Unterschied zeigt.

Woher kommt der Schwellenwert von 0,05? Nirgendwo im Besonderen.

Der britische Statistiker Ronald Fisher schlug sie in den 1920er Jahren als Faustregel vor, und die Bequemlichkeit wurde zur Regel.

0,05 als Linie für „Wichtigkeit“ zu haben, hat etwas Nützliches. Wenn es keinen wirklichen Effekt gäbe, würde eine Einstellung auf 0,05 bedeuten, dass eine Studie rein zufällig in etwa einem von 20 Fällen immer noch ein „signifikantes“ Ergebnis liefern würde.

Das ist die Fehlalarmrate, die wir zu tolerieren bereit sind. Dabei geht es nicht darum, anzugeben, wie viele veröffentlichte Erkenntnisse falsch sind.

Was willkürlich ist, ist eins zu 20 und nicht eins zu 100 oder eins zu zehn und führt zu leicht absurden Ergebnissen: Wenn p = 0,049, wird es als Befund gemeldet; Wenn p = 0,051, tun wir so, als wäre nichts passiert.

„Nicht signifikant“ bedeutet nicht „es gibt keinen Unterschied“

Zurück zu unserem Größenexperiment: Wir könnten versucht sein, unser Ergebnis von p = 0,06 als Beweis dafür zu betrachten, dass die Menschen in beiden Ländern gleich groß sind. Es ist nichts dergleichen.

Ein nicht signifikantes Ergebnis bedeutet lediglich, dass unsere Lücke nicht ungewöhnlich genug war, um den Schwellenwert zu überschreiten. Der tatsächliche Unterschied könnte erheblich sein. Möglicherweise war unsere Studie einfach zu klein oder zu laut, um es zu erkennen. Lärm bedeutet Unterschiede zwischen Individuen: Je größer die Höhenunterschiede von Person zu Person innerhalb eines Landes sind, desto höher ist der p-Wert für den gleichen Unterschied von 3 cm.

Ebenso häufig kommt es zu umgekehrter Verwirrung. Signifikant bedeutet im normalen Englisch „groß“ oder „wichtig“; In der Statistik bedeutet es lediglich, dass ein Ergebnis den Schwellenwert überschritten hat.

Das Finden von Unterschieden zwischen Personengruppen ist komplizierter als die einfache Berechnung eines p-Werts. Studio J/Getty Images

Stellen wir uns vor, eine Studie mit 40.000 Menschen kommt zu dem Ergebnis, dass ein Medikament den IQ um einen halben Punkt erhöht, mit p < 0,001. Damit wird die Schwelle der „statistischen Signifikanz“ deutlich überschritten, und doch ist ein halber IQ-Punkt ein völlig unwichtiger Unterschied.

Eine kleinere Studie, die einen durchschnittlichen Zuwachs von fünf IQ-Punkten bei p = 0,06 ergab, ist „nicht signifikant“, obwohl der Effekt, wenn er real wäre, viel signifikanter wäre.

Deshalb sollte der p-Wert in Verbindung mit der Effektgröße gelesen werden, was die oft wichtigere Frage aufwirft: Wie groß war der Unterschied?

Die Versuchung zum Hacken

Da so viele Dinge davon abhängen, unter 0,05 zu landen, ist der Schwellenwert verlockend. Angenommen, Forscher, die ein Nahrungsergänzungsmittel testen, rekrutieren 50 Personen und erhalten p = 0,08. Frustrierend nah dran.

Dann addieren sie weitere zehn und testen erneut: p = 0,06. Noch näher. Noch einmal zehn, und schließlich fällt der Wert unter 0,05. An diesem Punkt halten sie an und schreiben den Wert so, als ob die Stichprobengröße von Anfang an festgelegt worden wäre.

Ein Blick auf die Daten und das Anhalten in dem Moment, in dem die Grenze überschritten wird, erhöht die Chance auf ein „aussagekräftiges“ Ergebnis, selbst wenn nichts Wirkliches passiert. Das Gleiche passiert, wenn Forscher viele Ergebnisse oder Untergruppen testen und nur diejenigen melden, die funktioniert haben: Wenn Sie genügend Tests durchführen, überschreitet etwas rein zufällig den Wert von 0,05.

Dies wird als P-Hacking bezeichnet und es gibt Hinweise darauf, dass Forscher dies häufig tun.

Sollten wir also die p-Werte gruppieren?

Manche denken schon. Im Jahr 2019 unterzeichneten mehr als 800 Wissenschaftler einen Aufruf zur Entfernung der Sprache der statistischen Signifikanz. Mindestens eine Zeitschrift hat p-Werte gänzlich verboten.

Andere befürworten eine stärkere Gewichtung von Effektgrößen und Konfidenzintervallen, die zeigen, wie groß ein Effekt sein kann und wie genau er geschätzt wurde.

Es erscheint sinnvoll, die Effektgröße und die Konfidenzintervalle hervorzuheben. Aber p-Werte komplett in einen Topf zu werfen, geht möglicherweise zu weit.

Ein p-Wert sagt uns etwas Nützliches: Wie oft ein mindestens so extremes Ergebnis wie unseres auftreten würde, wenn es keinen echten Effekt gäbe. Das Problem besteht darin, es als Urteil darüber zu behandeln, ob eine Hypothese wahr ist oder ob ein Befund wichtig ist.