¿Es realmente necesario el análisis de potencia (power analysis) en los estudios académicos?

En el mundo académico, especialmente en los paradigmas de investigación cuantitativa, la significación estadística se ha considerado durante mucho tiempo el estándar de oro. Sin embargo, el mero hecho de que el valor p de un estudio quede por debajo del umbral crítico no significa necesariamente que dicho estudio sea científicamente sólido o replicable. Es aquí donde la potencia estadística y su precursor, el análisis de potencia, surgen como uno de los elementos más críticos en la fase de diseño de una investigación. El análisis de potencia es una hoja de ruta que debe determinarse al inicio de la investigación y afecta directamente a su validez científica.

Concepto de potencia estadística y justificación teórica

La potencia estadística es la probabilidad de rechazar la hipótesis nula cuando en realidad es falsa. En otras palabras, es la capacidad de detectar un efecto cuando existe un efecto real. Matemáticamente, la potencia se expresa como 1-beta. Aquí, beta representa el error de Tipo 2, es decir, el riesgo de no encontrar una diferencia o relación que realmente existe. El valor de potencia aceptado en los estándares académicos suele ser de 0.80 o superior. Esto tiene como objetivo asegurar que el investigador tenga al menos un 80% de probabilidades de capturar un efecto real.

Las bases teóricas del concepto fueron establecidas por el matemático polaco Jerzy Neyman y el estadístico inglés Egon Pearson. En aquella época, Ronald Fisher se centraba únicamente en el «rechazo de la hipótesis nula (H0)» a través del valor p. Neyman y Pearson, por el contrario, plantearon la siguiente pregunta: «¿Si H0 es falsa, cuál es nuestra probabilidad de aceptar una hipótesis alternativa (H1) que sea verdadera?». Durante este periodo, se hizo hincapié en conceptos vitales como los errores de Tipo 1 y Tipo 2. Por otro lado, en 1962, Jacob Cohen examinó los estudios en la literatura de las ciencias sociales y demostró que muchos de ellos tenían una potencia estadística muy baja, por lo que no lograban detectar los efectos existentes, y estandarizó el concepto de tamaño del efecto (Effect Size, como la d de Cohen, etc.).

El delicado equilibrio entre los errores de Tipo 1 y Tipo 2

La mayoría de los estudios académicos se centran en controlar el error de Tipo 1, es decir, el riesgo de mostrar un efecto inexistente como si fuera real. Por ello, el valor p suele fijarse en 0.05. Sin embargo, esto puede llevar a ignorar el error de Tipo 2. En un estudio que comienza sin un análisis de potencia, si el tamaño de la muestra es insuficiente, el investigador puede pasar por alto un hallazgo genuino. Esto no solo supone una pérdida de tiempo y recursos, sino también un obstáculo para el avance de la ciencia. Especialmente en las investigaciones clínicas, declarar ineficaz un fármaco o método que potencialmente podría salvar vidas debido a una muestra insuficiente constituye un problema ético.

Ideal para la gestión de recursos

Trabajar con muestras innecesariamente grandes conlleva la inclusión superflua de animales de laboratorio o seres humanos en el estudio. En el caso contrario, trabajar con una muestra demasiado pequeña significa asignar recursos a un proyecto que está condenado al fracaso desde el principio. Las agencias de financiación y los comités de ética exigen ahora informes de análisis de potencia para asegurar que los proyectos sean científicamente sostenibles.

¿El hecho de que los datos se hayan recopilado entre fechas específicas en estudios retrospectivos hace que el análisis de potencia sea innecesario?

No. En sus estudios académicos, el mero hecho de analizar pacientes dentro de fechas o periodos específicos no hace innecesario el control de la potencia de su estudio. El tamaño de la muestra que haya recopilado en los periodos correspondientes puede no ser suficiente para su hipótesis y para los análisis planificados. En este caso, podría perderse diferencias significativas que existen en la realidad. Debe verificar obligatoriamente los tamaños de muestra recolectados mediante análisis de potencia a priori y post hoc.

¿Puedo citar otro estudio publicado en lugar de realizar un análisis de potencia?

Sí. El punto importante aquí es que si existen datos de análisis de potencia en un estudio similar realizado anteriormente, o si hay una explicación científica lógica sobre la determinación del tamaño de la muestra en dicho estudio, puede citarlo como referencia. Por otro lado, debe tenerse en cuenta que pueden existir diferencias según la política de la revista en la que planee publicar su trabajo. Además, los editores o revisores aún podrían solicitar un análisis de potencia durante las etapas de revisión por pares (peer review).

Sesgo de publicación y crisis de replicación

En el mundo científico, en los últimos años se ha prestado especial atención al tema de la replicabilidad. Los resultados de muchos estudios importantes no arrojan los mismos hallazgos cuando son replicados por otros investigadores. Una de las razones principales es que estudios realizados con baja potencia pueden dar resultados significativos por azar y estos son publicados. Los resultados significativos obtenidos en estudios de baja potencia a menudo tienden a exagerar el tamaño del efecto (¿Qué es el Concepto de Tamaño del Efecto?). El análisis de potencia actúa como un filtro en este punto, aumentando la confianza en los hallazgos del estudio. Por lo tanto, además de la metodología, es extremadamente importante explicar cómo se determinó el tamaño de la muestra. El hecho de que el análisis de potencia sea uno de los métodos más objetivos para determinar el tamaño de la muestra aumenta aún más su importancia.

En conclusión, ¿es el análisis de potencia una opción?

En conclusión, cabe destacar que el análisis de potencia en los estudios académicos no es una opción, sino una necesidad metodológica. Cualquier estudio que no esté construido sobre una base estadística sólida es como un edificio levantado sobre arena. Los académicos, al probar sus hipótesis, deben compartir de manera transparente el nivel de potencia de sus estudios en lugar de centrarse únicamente en el valor p. Este enfoque protege el esfuerzo del investigador y realiza una contribución real a la naturaleza acumulativa de la ciencia. Realizar un análisis de potencia significa conocer los límites de la investigación y realizar una declaración científica honesta dentro de esos límites. Por lo tanto, ya sea una tesis doctoral o un proyecto internacional, el primer paso siempre debe ser el cálculo de la potencia estadística.