Les erreurs à éviter dans les tests statistiques
Cet article sur les erreurs en statistique va vous permettre de comprendre et d’éviter les pièges classiques dans les tests statistiques. C’est le dernier d’une série de trois articles consacrés à l’utilisation des tests statistiques, à découvrir sur notre blog.
Les tests statistiques sont de puissants outils d’inférence statistique, c’est-à-dire qu’ils permettent de déduire les propriétés d’une population observée à partir de l’échantillon collecté. Mais un tel avantage ne peut être obtenu sans effort ! Faites attention aux erreurs possibles.
Tout d’abord, vous devez considérer les deux points suivants :
- L’échantillon doit être prélevé au hasard, donc des échantillons aléatoires, pour avoir des données non biaisées de la population.
- Vous ne pouvez pas être sûr qu’une hypothèse ou une autre soit entièrement vraie. Vous êtes seulement capable de rejeter ou de ne pas rejeter l’hypothèse nulle (H0) avec une certaine probabilité.
En effet, il existe 4 situations possibles selon si H0 est vrai et si vous rejetez H0 :
En résumé :
- Erreur de type I : nous rejetons l’hypothèse vraie nulle (H0).
- Erreur de type II : nous ne parvenons pas à rejeter l’hypothèse de faux nul (H0).
Comment pouvons-nous contrôler ces erreurs ?
Répondre à cette question nécessite l’introduction d’un concept important : le niveau de signification
Le niveau de signification
Si vous vous souvenez de mon post précédent sur les différents types de tests, nous avons calculé la valeur de p qui était la probabilité d’obtenir la statistique que nous observons, ou quelque chose de plus extrême (c’est-à-dire plus éloigné de la moyenne : par exemple, une différence de salaire entre hommes et femmes supérieure ou égale à 1%).
Nous avons dit que si la valeur de p est suffisamment petite, nous rejetons l’hypothèse nulle H0 (l’hypothèse que cette différence soit simplement due au hasard). Mais que signifie être «assez petite» ? 0,1 est assez petit ? Qu’en est-il de 0,05 ? Ou 0,01 ?
Les statisticiens choisissent généralement cette «valeur p suffisamment petite» comme 0,05 ou 0,01, ce qui correspond à 5% ou 1% de chance de se produire. Ils désignent cette valeur p spécifique par la lettre grecque α (alpha) et l’appellent le niveau de signification. Donc lorsque p est inférieur ou égal à α, votre observation est significative, l’hypothèse 0 peut être rejetée.
A vous de choisir α !
Si vous ne voulez pas rejeter par erreur une hypothèse bien respectée, choisissez une petite valeur pour α, car une plus grande agrandirait la zone de rejet de la distribution de probabilité.
Qu’est-ce qu’une valeur ‘plus extrême’ ?
Dans l’exemple de l’écart de rémunération entre les sexes, nous avons observé une différence de 1% en faveur des hommes. Donc, une valeur plus extrême signifierait ici obtenir une différence de salaires supérieure ou égale à 1%.
Mais dans quelle direction ? 1% en faveur des hommes ? des femmes ? ou les deux ?
La question de la direction du test
En fait, nous devons également choisir la direction qui nous intéresse en fonction de notre hypothèse alternative :
| Test unilatéral (un seul côté) | Test bilatéral (deux côtés) |
| On teste la différence dans une direction : un seul côté de la distribution des probabilités ainsi que les statistiques qui sont plus grandes que Xα ou plus petites que X–α
Ha: les hommes gagnent plus que les femmes
Ha: les femmes gagnent plus que les hommes | On teste la différence dans les deux directions : une zone dont la surface est divisée en deux et les statistiques supérieures à Xα/2 et inférieures à X–α/2.
Ha: les hommes et les femmes n’ont pas le même salaire moyen. |
Les statistiques comme Xα ou Xα/2 sont appelées ‘valeurs critiques’ car elles déterminent la zone de rejet.
Erreurs de type I, comment les éviter ?
Supposons que l’hypothèse nulle soit valide avec une distribution de probabilité qui détermine la probabilité d’observer une statistique. Avec le niveau de signification, il y a (100 x α)% de chances que la statistique tombe dans les régions ombrées lorsque l’hypothèse nulle est vraie.
En d’autres termes, le niveau de signification est la probabilité de rejeter l’hypothèse nulle, en supposant, a priori, qu’elle était valide. C’est exactement la définition de l’erreur de type I : rejeter H0 quand il est valide ! Ainsi, la probabilité de commettre l’erreur de type I est égale à notre niveau de signification.
| Le choix de valeurs plus petites pour α réduit la probabilité d’erreur de type I.
|
Erreurs de type II, comment les éviter ?
Une erreur de type II se produit lorsque nous refusons de rejeter une hypothèse nulle H0 qui n’est pas valide. Supposons que l’hypothèse valide soit H1 avec la distribution de probabilité suivante :
Pour notre exemple d’écart de rémunération entre les sexes, H1 affirme que les hommes gagnent 2% de plus que les femmes. Donc, nous devons trouver la probabilité de ne pas rejeter le mauvais H0, à condition que H1 soit vrai.
Ne pas rejeter H0 signifie que la différence que nous avons observée était inférieure à la valeur critique de 1%. Nous devons donc calculer la probabilité d’obtenir des observations moins extrêmes que cela, en supposant que H1 est vrai. Cela nous donne la zone rouge, et nous la désignons par la lettre grecque β (beta).
La zone hachurée en rouge est la probabilité d’erreur de type II mais pour l’hypothèse H1. En fait, cette erreur dépend de H1. Vous pouvez voir sur l’image que l’erreur de type II est plus grande si H1 est plus proche de la mauvaise hypothèse que vous n’avez pas rejetée.
| Choisir des valeurs plus grandes pour α augmente la probabilité d’erreur de type II. |
Puissance d’un test statistique
La puissance d’un test statistique est la probabilité de rejeter la mauvaise hypothèse nulle H0, lorsque H1 est valide. Elle est égale à 1-β.
A retenir
| Diminuer α va
| Augmenter α va
|
La question des erreurs dans les tests est parfois un peu plus délicate à comprendre, alors n’hésitez pas à me demander de plus amples explications si besoin. Qu’en pensez-vous ? Quelle est votre expérience des tests statistiques ?
Merci pour vos questions et commentaires !
Hamed Zakerzadeh
Mathématicien ++