Math
p-значение и как им себя обмануть
Две тысячи экспериментов спрашивают, равно ли среднее нулю; доля отвергнувших при α = 0,05 считается. Без эффекта это 5 % — ошибка первого рода — и p-значения равномерны. С эффектом это мощность, растущая с эффектом и с n: половина σ находится в 32 % случаев при десяти наблюдениях и в 82 % при тридцати четырёх. Подглядывай в данные каждые пять наблюдений и останавливайся, когда p упало ниже 0,05, — и доля ложных срабатываний четверть. Всё сосчитано; кривая Стьюдента — из кода.
Что происходит
P-значение отвечает на странный вопрос: если бы эффекта не было вовсе, как часто попадались бы данные, настолько удивительные? Модуль ставит эксперимент две тысячи раз. Без эффекта пять процентов прогонов пересекают черту — по построению p-значение равномерно. С настоящим эффектом доля пересекающих — это мощность, и она зависит от эффекта и от n: малый эффект при n = 20 ловится один раз из семи. Подглядывайте в данные по мере поступления и останавливайтесь, когда p падает ниже 0,05, — доля ложных срабатываний перевалит за четверть. Задайте δ и n, прочтите мощность, потом попробуйте останавливаться по желанию.
Уравнения модуля
Уравнения
t = m/(s/√n), Стьюдент с n − 1 степенями свободы
при H₀ p-значение равномерно: P(p < α) = α
мощность ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
произвольная остановка (смотрим каждые 5, останавливаемся при p < 0.05): 27 % ложных срабатываний
