Math
Il valore p, e come ingannarsi con esso
Duemila esperimenti chiedono se una media sia zero; si conta la quota che rifiuta ad α = 0,05. Senza effetto è il 5 % - il tasso di errore del primo tipo - e i valori p sono uniformi. Con un effetto è la potenza, che cresce con l'effetto e con n: mezzo σ viene trovato il 32 % delle volte con dieci osservazioni e l'82 % con trentaquattro. Guarda i dati ogni cinque osservazioni e fermati quando p scende sotto 0,05, e il tasso di falsi positivi è un quarto. Tutto è contato; la curva di Student viene dal codice.
Cosa succede
Un p-value risponde a una domanda strana: se non ci fosse alcun effetto, quanto spesso comparirebbero dati così sorprendenti? Questo modulo esegue l'esperimento duemila volte. Senza effetto, il cinque per cento delle prove supera la linea - per costruzione, il p-value è uniforme. Con un effetto reale la frazione che supera è la potenza, e dipende dall'effetto e da n: un effetto piccolo a n = 20 viene colto una volta su sette. Sbircia i dati man mano che arrivano e fermati quando p scende sotto 0,05, e il tasso di falsi positivi sale oltre un quarto. Imposta δ e n, leggi la potenza, poi prova l'arresto opzionale.
Equazioni del modulo
Equazioni
t = m/(s/√n), di Student con n − 1 gradi di libertà
sotto H₀ il p-valore è uniforme: P(p < α) = α
potenza ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
arresto opzionale (si guarda ogni 5, ci si ferma a p < 0.05): 27 % di falsi positivi
