Math
p-значення і як ним себе обдурити
Дві тисячі експериментів питають, чи дорівнює середнє нулю; частка, що відкинула при α = 0,05, лічиться. Без ефекту це 5 % — помилка першого роду — і p-значення рівномірні. З ефектом це потужність, що росте з ефектом і з n: половина σ знаходиться у 32 % випадків при десяти спостереженнях і в 82 % при тридцяти чотирьох. Підглядай у дані кожні п'ять спостережень і зупиняйся, коли p впало нижче 0,05, — і частка хибних спрацьовувань чверть. Усе полічено; крива Стьюдента — з коду.
Що відбувається
P-значення відповідає на дивне запитання: якби ефекту не було зовсім, як часто траплялися б настільки дивовижні дані? Модуль ставить експеримент дві тисячі разів. Без ефекту п’ять відсотків прогонів перетинають лінію — за побудовою p-значення рівномірне. Зі справжнім ефектом частка тих, що перетинають, — це потужність, і вона залежить від ефекту і від n: малий ефект при n = 20 ловиться один раз із семи. Підглядайте в дані в міру надходження й зупиняйтеся, коли p падає нижче 0,05, — частка хибних спрацьовувань перевалить за чверть. Задайте δ і n, прочитайте потужність, потім спробуйте зупинятися за бажанням.
Рівняння модуля
Рівняння
t = m/(s/√n), розподіл Стьюдента з n − 1 ступенями свободи
за H₀ p-значення рівномірне: P(p < α) = α
потужність ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
довільна зупинка (дивитися кожні 5, зупинитися при p < 0.05): 27 % хибнопозитивних результатів
