Math
La valeur p, et comment se tromper avec
Deux mille expériences demandent si une moyenne est nulle ; la part qui rejette à α = 0,05 est comptée. Sans effet c'est 5 % - le taux d'erreur de première espèce - et les valeurs p sont uniformes. Avec un effet c'est la puissance, qui monte avec l'effet et avec n : un demi-σ est trouvé 32 % du temps avec dix observations et 82 % avec trente-quatre. Regarde les données toutes les cinq observations et arrête dès que p passe sous 0,05, et le taux de faux positifs est d'un quart. Tout est compté ; la courbe de Student vient du code.
Ce qui se passe
Une p-valeur répond à une question étrange : s'il n'y avait aucun effet, à quelle fréquence des données aussi surprenantes surviendraient-elles ? Ce module lance l'expérience deux mille fois. Sans effet, cinq pour cent des essais franchissent la ligne - par construction, la p-valeur est uniforme. Avec un effet réel, la fraction qui franchit est la puissance, et elle dépend de l'effet et de n : un petit effet à n = 20 est attrapé une fois sur sept. Regardez les données au fil de l'eau et arrêtez quand p passe sous 0,05, et le taux de faux positifs dépasse le quart. Fixez δ et n, lisez la puissance, puis essayez l'arrêt optionnel.
Équations du module
Équations
t = m/(s/√n), loi de Student à n − 1 degrés de liberté
sous H₀ la p-valeur est uniforme : P(p < α) = α
puissance ≈ Φ(δ√n − z_{1−α/2}) + Φ(−δ√n − z_{1−α/2})
arrêt optionnel (regarder tous les 5, s'arrêter à p < 0.05) : 27 % de faux positifs
