Rat devant un pièce à fromage

Les erreurs à éviter dans les tests statistiques

Cet article sur les erreurs en statistique va vous permettre de comprendre et d’éviter les pièges classiques dans les tests statistiques. C’est le dernier d’une série de trois articles consacrés à l’utilisation des tests statistiques, à découvrir sur notre blog.

Les tests statistiques sont de puissants outils d’inférence statistique, c’est-à-dire qu’ils permettent de déduire les propriétés d’une population observée à partir de l’échantillon collecté. Mais un tel avantage ne peut être obtenu sans effort ! Faites attention aux erreurs possibles.

Tout d’abord, vous devez considérer les deux points suivants :

  • L’échantillon doit être prélevé au hasard, donc des échantillons aléatoires, pour avoir des données non biaisées de la population.
  • Vous ne pouvez pas être sûr qu’une hypothèse ou une autre soit entièrement vraie. Vous êtes seulement capable de rejeter ou de ne pas rejeter l’hypothèse nulle (H0) avec une certaine probabilité.

En effet, il existe 4 situations possibles selon si H0 est vrai et si vous rejetez H0 :

En résumé :

  • Erreur de type I : nous rejetons l’hypothèse vraie nulle (H0).
  • Erreur de type II : nous ne parvenons pas à rejeter l’hypothèse de faux nul (H0).

Comment pouvons-nous contrôler ces erreurs ?

Répondre à cette question nécessite l’introduction d’un concept important : le niveau de signification

Le niveau de signification

Si vous vous souvenez de mon post précédent sur les différents types de tests, nous avons calculé la valeur de p qui était la probabilité d’obtenir la statistique que nous observons, ou quelque chose de plus extrême (c’est-à-dire plus éloigné de la moyenne : par exemple, une différence de salaire entre hommes et femmes supérieure ou égale à 1%).

Nous avons dit que si la valeur de p est suffisamment petite, nous rejetons l’hypothèse nulle H0 (l’hypothèse que cette différence soit simplement due au hasard). Mais que signifie être «assez petite» ? 0,1 est assez petit ? Qu’en est-il de 0,05 ? Ou 0,01 ?

Les statisticiens choisissent généralement cette «valeur p suffisamment petite» comme 0,05 ou 0,01, ce qui correspond à 5% ou 1% de chance de se produire. Ils désignent cette valeur p spécifique par la lettre grecque α (alpha) et l’appellent le niveau de signification. Donc lorsque p est inférieur ou égal à α, votre observation est significative, l’hypothèse 0 peut être rejetée.

A vous de choisir α !

Si vous ne voulez pas rejeter par erreur une hypothèse bien respectée, choisissez une petite valeur pour α, car une plus grande agrandirait la zone de rejet de la distribution de probabilité.

Qu'est-ce qu'une valeur 'plus extrême' ?

Dans l’exemple de l’écart de rémunération entre les sexes, nous avons observé une différence de 1% en faveur des hommes. Donc, une valeur plus extrême signifierait ici obtenir une différence de salaires supérieure ou égale à 1%.

Mais dans quelle direction ? 1% en faveur des hommes ? des femmes ? ou les deux ?

La question de la direction du test

En fait, nous devons également choisir la direction qui nous intéresse en fonction de notre hypothèse alternative :

Les statistiques comme Xα ou Xα/2 sont appelées ‘valeurs critiques’ car elles déterminent la zone de rejet.

Erreurs de type I, comment les éviter ?

Supposons que l’hypothèse nulle soit valide avec une distribution de probabilité qui détermine la probabilité d’observer une statistique. Avec le niveau de signification, il y a (100 x α)% de chances que la statistique tombe dans les régions ombrées lorsque l’hypothèse nulle est vraie.

En d’autres termes, le niveau de signification est la probabilité de rejeter l’hypothèse nulle, en supposant, a priori, qu’elle était valide. C’est exactement la définition de l’erreur de type I : rejeter H0 quand il est valide ! Ainsi, la probabilité de commettre l’erreur de type I est égale à notre niveau de signification.

Le choix de valeurs plus petites pour α réduit la probabilité d’erreur de type I.

Erreurs de type II, comment les éviter ?

Une erreur de type II se produit lorsque nous refusons de rejeter une hypothèse nulle H0 qui n’est pas valide. Supposons que l’hypothèse valide soit H1 avec la distribution de probabilité suivante :

Pour notre exemple d’écart de rémunération entre les sexes, H1 affirme que les hommes gagnent 2% de plus que les femmes. Donc, nous devons trouver la probabilité de ne pas rejeter le mauvais H0, à condition que H1 soit vrai.

Ne pas rejeter H0 signifie que la différence que nous avons observée était inférieure à la valeur critique de 1%. Nous devons donc calculer la probabilité d’obtenir des observations moins extrêmes que cela, en supposant que H1 est vrai. Cela nous donne la zone rouge, et nous la désignons par la lettre grecque β (beta).

La zone hachurée en rouge est la probabilité d’erreur de type II mais pour l’hypothèse H1. En fait, cette erreur dépend de H1. Vous pouvez voir sur l’image que l’erreur de type II est plus grande si H1 est plus proche de la mauvaise hypothèse que vous n’avez pas rejetée.

Choisir des valeurs plus grandes pour α augmente la probabilité d’erreur de type II.

Puissance d’un test statistique

La puissance d’un test statistique est la probabilité de rejeter la mauvaise hypothèse nulle H0, lorsque H1 est valide. Elle est égale à 1-β.

A retenir

Diminuer α va

  • Diminuer l’erreur de Type I
  • Augmenter l’erreur de Type II
  • Diminuer la puissance du test

Augmenter α va

  • Augmenter l’erreur de Type I
  • Diminuer l’erreur de Type II
  • Augmenter la puissance du test
En cliquant sur « Tout accepter», vous acceptez le stockage de cookies sur votre appareil pour améliorer la navigation sur le site, analyser son utilisation et contribuer à nos efforts de marketing. Pour plus d’informations sur les cookies que nous utilisons ou pour modifier vos préférences et vos paramètres, veuillez consulter notre politique de confidentialité.