L’analyse de puissance (power analysis) est-elle réellement indispensable dans les études académiques ?

Dans le monde académique, et plus particulièrement au sein des paradigmes de recherche quantitative, la signification statistique a longtemps été considérée comme la référence absolue (gold standard). Cependant, le fait que la valeur p d’une étude soit inférieure au seuil critique ne signifie pas nécessairement que cette étude soit scientifiquement robuste ou reproductible. C’est ici qu’interviennent la puissance statistique et son prérequis, l’analyse de puissance, comme l’un des éléments les plus critiques de la phase de conception d’une recherche. L’analyse de puissance est une feuille de route qui doit être définie dès le début de la recherche et elle influence directement la validité scientifique de l’étude.

Le concept de puissance statistique (Power) et sa justification théorique

La puissance statistique est la probabilité de pouvoir rejeter l’hypothèse nulle lorsqu’elle est réellement fausse. En d’autres termes, c’est la capacité à détecter un effet lorsqu’un effet réel existe. Mathématiquement, la puissance s’exprime par 1-bêta. Ici, bêta représente l’erreur de type II, c’est-à-dire le risque de ne pas trouver une différence ou une relation qui existe pourtant réellement. La valeur de puissance acceptée par les standards académiques est généralement de 0,80 ou plus. Cela vise à ce que le chercheur ait au moins 80 % de chances de capturer un effet réel.

Les fondements théoriques du concept ont été posés par le mathématicien polonais Jerzy Neyman et le statisticien anglais Egon Pearson. À l’époque, Ronald Fisher se concentrait uniquement sur le « rejet de l’hypothèse H0 (nulle) » via la valeur p. Neyman et Pearson ont alors posé la question suivante : « Si H0 est fausse, quelle est notre chance d’accepter une hypothèse alternative (H1) qui soit correcte ? ». Au cours de cette période, l’accent a été mis sur des concepts importants tels que l’erreur de type I et de type II. Par ailleurs, Jacob Cohen a examiné en 1962 les études de la littérature en sciences sociales et a prouvé que beaucoup d’entre elles présentaient une puissance statistique très faible, échouant ainsi à détecter les effets réellement présents. Il a ensuite standardisé le concept de taille d’effet (Effect Size), comme le d de Cohen, etc.

L’équilibre délicat entre les erreurs de type I et de type II

La plupart des études académiques se concentrent sur le contrôle de l’erreur de type I, c’est-à-dire le risque de présenter un effet inexistant comme réel. C’est pourquoi la valeur p est généralement fixée à 0,05. Cependant, cette situation peut conduire à négliger l’erreur de type II. Dans une étude commencée sans analyse de puissance, si la taille de l’échantillon est insuffisante, le chercheur peut passer à côté d’une découverte authentique. Cela constitue non seulement une perte de temps et de ressources, mais aussi un obstacle au progrès de la science. Particulièrement dans les recherches cliniques, déclarer inefficace un médicament ou une méthode potentiellement salvatrice en raison d’un échantillon insuffisant pose un problème éthique.

Idéal pour la gestion des ressources

Travailler avec des échantillons inutilement larges conduit à inclure inutilement des animaux de laboratoire ou des êtres humains dans l’étude. À l’inverse, travailler avec un échantillon trop petit revient à allouer des ressources à un projet condamné à l’échec dès le départ. **Les organismes de financement et les comités d’éthique exigent désormais des rapports d’analyse de puissance pour s’assurer que les projets sont scientifiquement viables.**

Le fait que des données aient été collectées entre des dates spécifiques dans des études rétrospectives rend-il l’analyse de puissance inutile ?

Non. Dans vos travaux académiques, le simple fait d’analyser des patients entre certaines dates ou périodes ne rend pas inutile le contrôle de la puissance de votre étude. Le nombre d’échantillons collectés au cours des périodes concernées peut ne pas être suffisant pour votre hypothèse et pour les analyses planifiées. Dans ce cas, vous pourriez passer à côté de différences significatives réellement présentes. Vous devez impérativement vérifier les tailles d’échantillons collectées à l’aide d’analyses de puissance a priori et post hoc.

Puis-je citer une autre étude publiée au lieu de réaliser une analyse de puissance ?

Oui. Le point important ici est que si des données d’analyse de puissance sont disponibles dans une étude similaire réalisée précédemment, ou s’il existe une explication scientifique logique concernant la détermination de la taille de l’échantillon de ladite étude, vous pouvez citer cette étude comme source. D’un autre côté, il faut garder à l’esprit qu’il peut y avoir des différences selon la politique de la revue dans laquelle vous prévoyez de publier. De plus, lors des étapes d’évaluation par les pairs (peer review), une analyse de puissance peut toujours être demandée par l’éditeur ou les examinateurs.

Biais de publication et crise de la reproductibilité

Dans le monde scientifique, une attention particulière est accordée à la question de la reproductibilité ces dernières années. Les résultats de nombreuses études importantes ne donnent pas les mêmes conclusions lorsqu’ils sont répétés par d’autres chercheurs. L’une des raisons principales en est que des études menées avec une faible puissance produisent des résultats significatifs par hasard et que ceux-ci sont publiés. Les résultats significatifs obtenus dans des études à faible puissance ont souvent tendance à exagérer la taille de l’effet (Qu’est-ce que le concept de taille de l’effet ?). L’analyse de puissance agit ici comme un filtre, augmentant la confiance dans les résultats de l’étude. C’est pourquoi, en plus de la méthodologie, il est extrêmement important d’expliquer comment la taille de l’échantillon a été déterminée. **Le fait que l’analyse de puissance soit l’une des méthodes les plus objectives pour déterminer la taille de l’échantillon accroît encore son importance.**

En conclusion, l’analyse de puissance est-elle un choix ?

En conclusion, il est utile de souligner que l’analyse de puissance dans les travaux académiques n’est pas une option, mais une nécessité méthodologique. Toute étude qui n’est pas construite sur une base statistique solide est comme un bâtiment édifié sur du sable. Les universitaires, lorsqu’ils testent leurs hypothèses, doivent partager de manière transparente le niveau de puissance de leurs travaux au lieu de se concentrer uniquement sur la valeur p. Cette approche protège à la fois le travail du chercheur et apporte une réelle contribution à la nature cumulative de la science. Réaliser une analyse de puissance, c’est connaître les limites de la recherche et faire une déclaration scientifique honnête dans le cadre de ces limites. C’est pourquoi, qu’il s’agisse d’une thèse de doctorat ou d’un projet international, la première étape doit toujours être le calcul de la puissance statistique.