Ist eine Poweranalyse (Teststärkeanalyse) in akademischen Studien wirklich notwendig?

In der akademischen Welt, insbesondere in quantitativen Forschungsparadigmen, wird die statistische Signifikanz seit langem als Goldstandard angesehen. Doch die Tatsache, dass der p-Wert einer Studie unter der kritischen Schwelle liegt, bedeutet nicht zwangsläufig, dass diese Studie wissenschaftlich fundiert oder reproduzierbar ist. An dieser Stelle rückt die statistische Power (Teststärke) und ihre Voraussetzung, die Poweranalyse, als eines der kritischsten Elemente in der Designphase einer Forschung in den Fokus. Die Poweranalyse ist eine Roadmap, die zu Beginn der Untersuchung festgelegt werden sollte und die wissenschaftliche Validität der Studie direkt beeinflusst.

Das Konzept der statistischen Power und die theoretische Begründung

Die statistische Power ist die Wahrscheinlichkeit, die Nullhypothese abzulehnen, wenn sie tatsächlich falsch ist. Mit anderen Worten: Es ist die Fähigkeit, einen Effekt zu erkennen, wenn ein tatsächlicher Effekt vorhanden ist. Mathematisch wird die Power als 1-Beta ausgedrückt. Hierbei repräsentiert Beta den Fehler 2. Art, also das Risiko, einen tatsächlich vorhandenen Unterschied oder Zusammenhang nicht zu finden. In akademischen Standards liegt der akzeptierte Power-Wert in der Regel bei 0,80 oder höher. Dies zielt darauf ab, dass der Forscher eine Chance von mindestens 80 % hat, einen realen Effekt zu erfassen.

Die theoretischen Grundlagen dieses Konzepts wurden vom polnischen Mathematiker Jerzy Neyman und dem englischen Statistiker Egon Pearson gelegt. Zu dieser Zeit konzentrierte sich Ronald Fisher über den p-Wert lediglich auf die „Ablehnung der H0- (Null-) Hypothese“. Neyman und Pearson hingegen stellten die Frage: „Wenn H0 falsch ist, wie groß ist unsere Chance, eine wahre Alternativhypothese (H1) anzunehmen?“. In dieser Ära wurde die Bedeutung von Konzepten wie dem Fehler 1. Art und dem Fehler 2. Art hervorgehoben. Andererseits untersuchte Jacob Cohen im Jahr 1962 Studien in der sozialwissenschaftlichen Literatur und bewies, dass viele eine sehr geringe statistische Power aufwiesen und somit vorhandene Effekte nicht finden konnten. Er standardisierte daraufhin das Konzept der Effektstärke (Effect Size, z. B. Cohens d).

Das sensible Gleichgewicht zwischen Fehlern 1. Art und 2. Art

Die meisten akademischen Studien konzentrieren sich darauf, den Fehler 1. Art zu kontrollieren – also das Risiko, einen nicht vorhandenen Effekt als real darzustellen. Daher wird der p-Wert meist auf 0,05 festgesetzt. Dies kann jedoch dazu führen, dass der Fehler 2. Art vernachlässigt wird. In einer Studie, die ohne Poweranalyse beginnt, kann der Forscher bei unzureichendem Stichprobenumfang einen echten Befund übersehen. Dies ist nicht nur eine Verschwendung von Zeit und Ressourcen, sondern auch ein Hindernis für den wissenschaftlichen Fortschritt. Insbesondere in der klinischen Forschung stellt es ein ethisches Problem dar, wenn ein potenziell lebensrettendes Medikament oder Verfahren aufgrund einer zu geringen Stichprobe als unwirksam deklariert wird.

Ideal für das Ressourcenmanagement

Die Arbeit mit unnötig großen Stichproben führt dazu, dass Labortiere oder Menschen unnötig in die Studie einbezogen werden. Umgekehrt bedeutet die Arbeit mit einer zu kleinen Stichprobe, Ressourcen für ein Projekt aufzuwenden, das von vornherein zum Scheitern verurteilt ist. Förderorganisationen und Ethikkommissionen setzen mittlerweile Berichte zur Poweranalyse voraus, um sicherzustellen, dass Projekte wissenschaftlich nachhaltig sind.

Macht die Datenerhebung zwischen bestimmten Zeiträumen in retrospektiven Studien eine Poweranalyse überflüssig?

Nein. In Ihren akademischen Arbeiten macht die Tatsache, dass Sie nur Patienten zwischen bestimmten Daten oder Zeiträumen analysieren, die Kontrolle der Power Ihrer Studie nicht überflüssig. Die Anzahl der Stichproben, die Sie in den entsprechenden Zeiträumen gesammelt haben, reicht für Ihre Hypothese und die geplanten Analysen möglicherweise nicht aus. In diesem Fall könnten Sie tatsächlich vorhandene signifikante Unterschiede übersehen. Sie sollten Ihre gesammelten Stichprobenzahlen unbedingt mit a-priori- und Post-hoc-Poweranalysen überprüfen.

Kann ich statt einer Poweranalyse eine andere veröffentlichte Studie als Quelle angeben?

Ja. Der entscheidende Punkt hierbei ist: Wenn in einer bereits durchgeführten ähnlichen Studie Daten zur Poweranalyse vorhanden sind oder eine logische wissenschaftliche Erklärung für die Bestimmung des Stichprobenumfangs dieser Studie vorliegt, können Sie diese Studie als Referenz angeben. Andererseits sollte beachtet werden, dass es je nach Richtlinien der Zeitschrift, in der Sie veröffentlichen möchten, Unterschiede geben kann. Zudem können Editoren oder Gutachter während der Begutachtungsphasen (Review) dennoch eine Poweranalyse anfordern.

Publikationsbias und die Reproduzierbarkeitskrise

In der Wissenschaft wird dem Thema Reproduzierbarkeit in den letzten Jahren besondere Aufmerksamkeit geschenkt. Die Ergebnisse vieler bedeutender Studien lassen sich nicht replizieren, wenn sie von anderen Forschern wiederholt werden. Einer der Hauptgründe dafür ist, dass Studien mit geringer Power zufällig signifikante Ergebnisse liefern und diese veröffentlicht werden. Signifikante Ergebnisse in Studien mit geringer Power neigen oft dazu, die Effektstärke zu übertreiben (Was ist das Konzept der Effektstärke?). Die Poweranalyse fungiert an dieser Stelle als Filter und erhöht das Vertrauen in die Befunde der Studie. Daher ist es neben der Methodik äußerst wichtig zu erklären, wie der Stichprobenumfang bestimmt wurde. Die Tatsache, dass die Poweranalyse eine der objektivsten Methoden zur Bestimmung des Stichprobenumfangs ist, unterstreicht ihre Bedeutung zusätzlich.

Fazit: Ist die Poweranalyse eine bloße Präferenz?

Zusammenfassend lässt sich sagen, dass die Poweranalyse in akademischen Studien keine Option, sondern eine methodische Notwendigkeit ist. Jede Studie, die nicht auf einem statistisch soliden Fundament steht, gleicht einem Gebäude, das auf Sand gebaut ist. Akademiker sollten sich beim Testen ihrer Hypothesen nicht nur auf den p-Wert konzentrieren, sondern auch das Power-Niveau ihrer Studien transparent kommunizieren. Dieser Ansatz schützt sowohl die Arbeit des Forschers als auch den kumulativen Charakter der Wissenschaft. Eine Poweranalyse durchzuführen bedeutet, die Grenzen der Forschung zu kennen und innerhalb dieser Grenzen eine ehrliche wissenschaftliche Aussage zu treffen. Daher sollte der erste Schritt, egal ob es sich um eine Dissertation oder ein internationales Projekt handelt, immer die Berechnung der statistischen Power sein.