Math
Der p-Wert, und wie man sich damit täuscht
Zweitausend Experimente fragen, ob ein Mittelwert null ist; der Anteil, der bei α = 0,05 verwirft, wird gezählt. Ohne Effekt sind es 5 % - die Fehlerrate erster Art - und die p-Werte sind gleichverteilt. Mit Effekt ist es die Teststärke, die mit dem Effekt und mit n steigt: ein halbes σ wird mit zehn Beobachtungen in 32 % der Fälle gefunden, mit vierunddreißig in 82 %. Sieh alle fünf Beobachtungen in die Daten und stopp, sobald p unter 0,05 sinkt, und die Falsch-Positiv-Rate ist ein Viertel. Alles wird gezählt; Students Kurve kommt aus dem Code.
Was passiert
Ein p-Wert beantwortet eine seltsame Frage: gäbe es gar keinen Effekt, wie oft kämen so überraschende Daten vor? Dieses Modul führt das Experiment zweitausendmal aus. Ohne Effekt überschreiten fünf Prozent der Läufe die Linie - per Konstruktion ist der p-Wert gleichverteilt. Mit echtem Effekt ist der Anteil, der überschreitet, die Teststärke, und sie hängt vom Effekt und von n ab: ein kleiner Effekt bei n = 20 wird einmal in sieben gefangen. Schaue zwischendurch auf die Daten und halte an, sobald p unter 0,05 sinkt, und die Rate falscher Treffer steigt über ein Viertel. Setze δ und n, lies die Stärke ab, dann probiere das vorzeitige Anhalten.
Gleichungen des Moduls
Gleichungen
t = m/(s/√n), Student-Verteilung mit n − 1 Freiheitsgraden
unter H₀ ist der p-Wert gleichverteilt: P(p < α) = α
Teststärke ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
optionales Stoppen (Zwischenblick nach je 5, Stopp bei p < 0.05): 27 % falsch positive Ergebnisse
