Cet article sur les erreurs en statistique va vous permettre de comprendre et d’éviter les pièges classiques dans les tests statistiques. C’est le dernier d’une série de trois articles consacrés à l’utilisation des tests statistiques, à découvrir sur notre blog.
Les tests statistiques sont de puissants outils d’inférence statistique, c’est-à-dire qu’ils permettent de déduire les propriétés d’une population observée à partir de l’échantillon collecté. Mais un tel avantage ne peut être obtenu sans effort ! Faites attention aux erreurs possibles.
Tout d’abord, vous devez considérer les deux points suivants :
En effet, il existe 4 situations possibles selon si H0 est vrai et si vous rejetez H0 :
En résumé :
Répondre à cette question nécessite l’introduction d’un concept important : le niveau de signification
Le niveau de signification
Si vous vous souvenez de mon post précédent sur les différents types de tests, nous avons calculé la valeur de p qui était la probabilité d’obtenir la statistique que nous observons, ou quelque chose de plus extrême (c’est-à-dire plus éloigné de la moyenne : par exemple, une différence de salaire entre hommes et femmes supérieure ou égale à 1%).
Nous avons dit que si la valeur de p est suffisamment petite, nous rejetons l’hypothèse nulle H0 (l’hypothèse que cette différence soit simplement due au hasard). Mais que signifie être «assez petite» ? 0,1 est assez petit ? Qu’en est-il de 0,05 ? Ou 0,01 ?
Les statisticiens choisissent généralement cette «valeur p suffisamment petite» comme 0,05 ou 0,01, ce qui correspond à 5% ou 1% de chance de se produire. Ils désignent cette valeur p spécifique par la lettre grecque α (alpha) et l’appellent le niveau de signification. Donc lorsque p est inférieur ou égal à α, votre observation est significative, l’hypothèse 0 peut être rejetée.
A vous de choisir α !
Si vous ne voulez pas rejeter par erreur une hypothèse bien respectée, choisissez une petite valeur pour α, car une plus grande agrandirait la zone de rejet de la distribution de probabilité.
Dans l’exemple de l’écart de rémunération entre les sexes, nous avons observé une différence de 1% en faveur des hommes. Donc, une valeur plus extrême signifierait ici obtenir une différence de salaires supérieure ou égale à 1%.
Mais dans quelle direction ? 1% en faveur des hommes ? des femmes ? ou les deux ?
En fait, nous devons également choisir la direction qui nous intéresse en fonction de notre hypothèse alternative :
Les statistiques comme Xα ou Xα/2 sont appelées ‘valeurs critiques’ car elles déterminent la zone de rejet.
Supposons que l’hypothèse nulle soit valide avec une distribution de probabilité qui détermine la probabilité d’observer une statistique. Avec le niveau de signification, il y a (100 x α)% de chances que la statistique tombe dans les régions ombrées lorsque l’hypothèse nulle est vraie.
En d’autres termes, le niveau de signification est la probabilité de rejeter l’hypothèse nulle, en supposant, a priori, qu’elle était valide. C’est exactement la définition de l’erreur de type I : rejeter H0 quand il est valide ! Ainsi, la probabilité de commettre l’erreur de type I est égale à notre niveau de signification.
Le choix de valeurs plus petites pour α réduit la probabilité d’erreur de type I.
Une erreur de type II se produit lorsque nous refusons de rejeter une hypothèse nulle H0 qui n’est pas valide. Supposons que l’hypothèse valide soit H1 avec la distribution de probabilité suivante :
Pour notre exemple d’écart de rémunération entre les sexes, H1 affirme que les hommes gagnent 2% de plus que les femmes. Donc, nous devons trouver la probabilité de ne pas rejeter le mauvais H0, à condition que H1 soit vrai.
Ne pas rejeter H0 signifie que la différence que nous avons observée était inférieure à la valeur critique de 1%. Nous devons donc calculer la probabilité d’obtenir des observations moins extrêmes que cela, en supposant que H1 est vrai. Cela nous donne la zone rouge, et nous la désignons par la lettre grecque β (beta).
La zone hachurée en rouge est la probabilité d’erreur de type II mais pour l’hypothèse H1. En fait, cette erreur dépend de H1. Vous pouvez voir sur l’image que l’erreur de type II est plus grande si H1 est plus proche de la mauvaise hypothèse que vous n’avez pas rejetée.
Choisir des valeurs plus grandes pour α augmente la probabilité d’erreur de type II.
Puissance d’un test statistique
La puissance d’un test statistique est la probabilité de rejeter la mauvaise hypothèse nulle H0, lorsque H1 est valide. Elle est égale à 1-β.
Diminuer α va
Augmenter α va
