Math
El valor p, y cómo engañarse con él
Dos mil experimentos preguntan si una media es cero; se cuenta la fracción que rechaza con α = 0,05. Sin efecto es el 5 % - la tasa de error de tipo I - y los valores p son uniformes. Con efecto es la potencia, que sube con el efecto y con n: media σ se encuentra el 32 % de las veces con diez observaciones y el 82 % con treinta y cuatro. Mira los datos cada cinco observaciones y para cuando p baje de 0,05, y la tasa de falsos positivos es un cuarto. Todo se cuenta; la curva de Student sale del código.
Qué ocurre
Un valor p responde a una pregunta extraña: si no hubiera efecto alguno, ¿con qué frecuencia saldrían datos tan sorprendentes? Este módulo corre el experimento dos mil veces. Sin efecto, el cinco por ciento de las corridas cruza la línea: por construcción, el valor p es uniforme. Con un efecto real la fracción que cruza es la potencia, y depende del efecto y de n: un efecto pequeño con n = 20 se atrapa una vez de cada siete. Mira los datos según llegan y para cuando p baje de 0,05, y la tasa de falsos positivos supera un cuarto. Fija δ y n, lee la potencia, luego prueba la parada opcional.
Ecuaciones del módulo
Ecuaciones
t = m/(s/√n), de Student con n − 1 grados de libertad
bajo H₀ el p-valor es uniforme: P(p < α) = α
potencia ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
parada opcional (mirar cada 5, parar en p < 0.05): 27 % de falsos positivos
