In der wissenschaftlichen Forschung wurden über viele Jahre hinweg der p-Wert und die statistische Signifikanz als grundlegende Kriterien für die Bewertung von Ergebnissen herangezogen. Die statistische Signifikanz sagt jedoch nur aus, ob der beobachtete Unterschied zufällig entstanden ist; sie gibt keine Auskunft darüber, wie groß oder wie wichtig dieser Unterschied ist. An dieser Stelle kommt das Konzept der Effektstärke (Effect Size) ins Spiel. Die Effektstärke ist ein quantitatives Maß, das das Ausmaß des Effekts einer Variablen auf eine andere oder die Größe des Unterschieds zwischen zwei Gruppen in standardisierter Form ausdrückt.
Unterscheidung zwischen statistischer Signifikanz und Effektstärke
Statistische Signifikanztests reagieren äußerst empfindlich auf den Stichprobenumfang (n). Bei einer sehr großen Stichprobe können selbst sehr kleine Unterschiede, die in der Praxis keine Bedeutung haben, mit einem p-Wert < 0,05 statistisch signifikant ausfallen (dies wird im weiteren Verlauf anhand von Szenarien erläutert). Die Effektstärke ermöglicht es dem Forscher, die Frage zu beantworten: „Wie wichtig ist der von mir gefundene Unterschied für die reale Welt?“ Heutzutage verlangen viele renommierte medizinische Fachzeitschriften die Angabe nicht nur des p-Wertes, sondern auch der Effektstärken und Konfidenzintervalle.
Arten der Effektstärke
Die Berechnung der Effektstärke variiert je nach Art der durchgeführten statistischen Analyse. Sie lassen sich im Wesentlichen in drei Hauptfamilien unterteilen:
- Abstandsmaße (d-Familie): Drückt den Unterschied zwischen den Mittelwerten zweier Gruppen in Standardabweichungen aus. Am weitesten verbreitet ist der Koeffizient Cohen’s d. Wenn der Cohen’s d-Wert 0,5 beträgt, bedeutet dies, dass der Mittelwert der Experimentalgruppe um eine halbe Standardabweichung über dem der Kontrollgruppe liegt.
- Zusammenhangsmaße (r-Familie): Gibt die Stärke der Beziehung zwischen Variablen an. Der Pearson-Korrelationskoeffizient (r) und das Bestimmtheitsmaß (r-Quadrat), das den Anteil der erklärten Varianz angibt, gehören zu dieser Gruppe.
- Verhältnismaße: Dies sind Werte wie das Odds Ratio (OR) und das Relative Risiko (RR), die vor allem in der Medizin und Epidemiologie verwendet werden.
Diese Werte sind keine starren Regeln; die Begriffe „klein“ oder „groß“ können sich je nach Forschungsbereich (z. B. Pädagogik, Psychologie oder Chirurgie) ändern. Zur Bewertung der jeweiligen Effektstärke sollte im entsprechenden Bereich primär die Hypothese festgelegt und die Effektstärke basierend auf der geplanten Analyse bestimmt werden.
Anwendungsbeispiele
Szenario 1: Betrachten wir die Studie eines Pharmaunternehmens zu einem neuen Schmerzmittel. Bei einer Stichprobe von 10.000 Personen reduzierte das neue Medikament den Schmerz um 2 Punkte mehr auf einer Skala von 100, und es wurde ein p < 0,001 gefunden. Statistisch ist das Ergebnis signifikant. Wenn jedoch Cohen’s d berechnet wird und ein sehr niedriger Wert wie 0,05 herauskommt, wird deutlich, dass dieser Unterschied klinisch keine Bedeutung hat und das Medikament in der Praxis den alten Medikamenten nicht überlegen ist.
Szenario 2: Bei der Untersuchung der Auswirkungen einer Lehrmethode auf den Schülererfolg kann der p-Wert aufgrund einer geringen Gruppenanzahl (n=30) bei 0,08 liegen (nicht signifikant). Wenn die Effektstärke jedoch d=0,70 (großer Effekt) beträgt, erkennt der Forscher, dass diese Methode potenziell sehr effektiv ist, aber aufgrund der unzureichenden Stichprobengröße die Signifikanzschwelle nicht erreicht hat. Dies deutet darauf hin, dass die Studie mit einer größeren Gruppe wiederholt werden sollte.
Szenario 3: Betrachten wir eine Studie mit 10.000 Patienten, die ein blutdrucksenkendes Mittel einnehmen. Angenommen, der Unterschied zwischen den systolischen Blutdruckwerten nach der Behandlung zwischen den Gruppen, die Medikament A (Routine) und Medikament B (neu) einnehmen, beträgt nur 2 mmHg (z. B. 132 mmHg gegenüber 130 mmHg) und es wird ein statistisch signifikanter Unterschied notiert (p = 0,03). Obwohl die Ergebnisse statistisch signifikant sind, kann man daraus schließen, dass das neue Medikament im realen Leben eine bedeutende Wirkung hat? Die Antwort ist nein. Zusammenfassend lässt sich sagen, dass in Studien mit sehr hohen Stichprobenzahlen selbst minimale Unterschiede statistisch signifikante Ergebnisse liefern können, während die Übertragbarkeit dieser Unterschiede in den Alltag direkt mit dem Konzept der „Effektstärke“ zusammenhängt. In diesem Beispiel liegt wahrscheinlich eine geringe Effektstärke (d) vor.
Beziehung zwischen Poweranalyse und Effektstärke
Die Effektstärke ist in der Forschungsplanungsphase (prospektive Poweranalyse) von entscheidender Bedeutung. Ein Forscher muss vor Beginn seiner Studie festlegen, welchen Effekt er erfassen möchte, und berechnen, wie viele Probanden er benötigt, um diesen Effekt mit einer Power von 80 % oder 90 % nachzuweisen. Je kleiner die erwartete Effektstärke ist, desto geometrischer steigt die benötigte Stichprobenzahl an.
Fazit
Die Effektstärke ist die Brücke, die uns hilft, den praktischen Wert wissenschaftlicher Erkenntnisse zu verstehen. Die ausschließliche Konzentration auf den p-Wert kann in der wissenschaftlichen Literatur zu einer „Signifikanz-Illusion“ führen. Die Berichterstattung standardisierter Effektstärken durch Forscher liefert sowohl Daten für Metaanalysen als auch die Möglichkeit, Wissen kumulativ und korrekt zu bewerten.
Quellen
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Routledge. https://doi.org/10.4324/9780203771587
- Sullivan GM, Feinn R. Using Effect Size-or Why the P Value Is Not Enough. J Grad Med Educ. 2012 Sep;4(3):279-82. https://doi.org/10.4300/jgme-d-12-00156.1 PMID: 23997866; PMCID: PMC3444174.
- Sawilowsky, S. S. (2009). New effect size rules of thumb. Journal of Modern Applied Statistical Methods, 8(2), 597 – 599.
