Dans la recherche scientifique, la valeur p et la signification statistique ont été utilisées comme critères de base pour l’évaluation des résultats pendant de nombreuses années. Cependant, la signification statistique indique seulement si la différence observée est due au hasard ; elle ne donne aucune information sur l’ampleur ou l’importance de cette différence. C’est là qu’intervient le concept de taille de l’effet (effect size). La taille de l’effet est une mesure quantitative qui exprime l’ampleur de l’effet d’une variable sur une autre ou la taille de la différence entre deux groupes sous une forme standardisée.
Distinction entre signification statistique et taille de l’effet
Les tests de signification statistique sont extrêmement sensibles à la taille de l’échantillon (n). Lorsqu’on travaille avec un très grand échantillon, même de très petites différences sans équivalent ou signification pratique peuvent s’avérer statistiquement significatives avec une valeur p < 0,05 (expliqué par des scénarios plus loin). Cela permet au chercheur de répondre à la question : « Quelle est l’importance de la différence que j’ai trouvée pour le monde réel ? » Aujourd’hui, de nombreuses revues médicales prestigieuses exigent le rapport non seulement de la valeur p, mais aussi des tailles d’effet et des intervalles de confiance.
Types de tailles d’effet
Les calculs de la taille de l’effet varient selon le type d’analyse statistique effectuée. Ils sont essentiellement divisés en trois grandes familles :
- Mesures de différence (famille d) : Exprime la différence entre les moyennes de deux groupes en termes d’écart-type. Le plus courant est le coefficient d de Cohen. Si la valeur d de Cohen est de 0,5, cela signifie que la moyenne du groupe expérimental est supérieure d’un demi-écart-type à celle du groupe témoin.
- Mesures de relation (famille r) : Indique la force de la relation entre les variables. Le coefficient de corrélation de Pearson (r) et le r-carré (coefficient de détermination), qui est la proportion de variance expliquée, appartiennent à ce groupe.
- Mesures de ratio : Ce sont des valeurs telles que l’Odds Ratio (OR) et le Risque Relatif (RR), utilisées particulièrement en médecine et en épidémiologie.
Bien que ces valeurs ne soient pas des règles rigides, les concepts de « petit » ou « grand » peuvent varier selon le domaine de recherche (par exemple, éducation, psychologie ou chirurgie). Pour évaluer la taille de l’effet pertinente, l’hypothèse principale doit être déterminée en priorité, et la taille de l’effet doit être décidée en fonction de l’analyse prévue.
Exemples d’application
Scénario 1 : Imaginons l’étude d’une firme pharmaceutique sur un nouvel analgésique. Sur un échantillon de 10 000 personnes, le nouveau médicament a réduit la douleur de 2 points de plus sur 100, avec un p < 0,001. Statistiquement, le résultat est significatif. Cependant, si le d de Cohen calculé est très bas (ex: 0,05), on comprend que cette différence n’a aucune signification clinique et que le médicament n’est pas pratiquement supérieur aux anciens.
Scénario 2 : Lors de l’examen de l’effet d’une méthode pédagogique sur la réussite des élèves, la valeur p peut être de 0,08 (non significatif) car le nombre de groupes est faible (n=30). Cependant, si la taille de l’effet est d=0,70 (effet important), le chercheur réalise que cette méthode est potentiellement très efficace mais n’a pas pu atteindre le seuil de signification faute d’un échantillon suffisant. Cela indique que l’étude devrait être répétée avec un groupe plus large.
Scénario 3 : Imaginons une étude de 10 000 personnes menée par une firme pharmaceutique chez des patients utilisant un antihypertenseur. Supposons que la différence entre les pressions artérielles systoliques après traitement entre le groupe A (routine) et le groupe B (nouveau) ne soit que de 2 mmHg (ex: 132 mmHg contre 130 mmHg) et qu’une différence statistiquement significative soit notée (p = 0,03). Bien que les résultats soient statistiquement significatifs, peut-on conclure que le nouveau médicament a des effets réels significatifs ? La réponse est non. En conclusion, alors que des différences minimales peuvent donner des résultats statistiquement significatifs dans des études à très grands échantillons, l’applicabilité de ces différences à la vie quotidienne est directement liée au concept de « taille de l’effet ». Dans cet exemple, il s’agit probablement d’une faible taille d’effet (d).
Relation entre analyse de puissance et taille de l’effet
La taille de l’effet est d’une importance vitale lors de la phase de planification de la recherche (analyse de puissance prospective). Un chercheur, avant de commencer son étude, doit déterminer l’ampleur de l’effet qu’il souhaite capturer et calculer le nombre de sujets nécessaires pour détecter cet effet avec une puissance de 80 % ou 90 %. Plus la taille de l’effet attendue est petite, plus le nombre d’échantillons nécessaires augmente de manière géométrique.
Conclusion
La taille de l’effet est le pont qui nous permet de comprendre la valeur pratique des découvertes scientifiques. Se concentrer uniquement sur la valeur p peut conduire à une « illusion de significativité » dans la littérature scientifique. Le fait que les chercheurs rapportent des tailles d’effet standardisées fournit des données pour les méta-analyses et permet une évaluation cumulative correcte des connaissances.
Références
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Routledge. https://doi.org/10.4324/9780203771587
- Sullivan GM, Feinn R. Using Effect Size-or Why the P Value Is Not Enough. J Grad Med Educ. 2012 Sep;4(3):279-82. https://doi.org/10.4300/jgme-d-12-00156.1 PMID: 23997866; PMCID: PMC3444174.
- Sawilowsky, S. S. (2009). New effect size rules of thumb. Journal of Modern Applied Statistical Methods, 8(2), 597 – 599.
