La idea, sin fórmulas
Una prueba es un instrumento y todo instrumento tiene una resolución mínima. Por debajo de ella no detecta nada, aunque el fenómeno exista.
La potencia es esa resolución expresada en términos de diseño: la probabilidad de que la prueba detecte un efecto de un tamaño determinado, si ese efecto existe. Depende de tres cosas. Del tamaño del efecto que se busca, porque los efectos grandes se ven con menos datos. De la variabilidad de la medida, porque una medida ruidosa oculta el efecto. Y del número de observaciones.
Lo importante es que las tres se conocen o se estiman antes de empezar. La potencia no es un resultado del estudio: es una propiedad del diseño, y por eso se calcula antes.
Probabilidad de que un diseño detecte un efecto de un tamaño determinado, si ese efecto existe. Depende del tamaño buscado, de la variabilidad y del número de observaciones.
No es un resultado del estudio. No se puede aumentar después de recoger los datos. No compensa una asignación defectuosa: una prueba mal diseñada con mucho volumen sigue mal diseñada.
Para interpretar un resultado nulo como ausencia de efecto tendría que ser cierto que la prueba tenía potencia suficiente para detectarlo, y ese cálculo debe existir de antes.
Qué pasa cuando es baja
Aquí está el punto que casi nunca se explica y que cambia la forma de leer los resultados del sector.
Con potencia baja, un resultado no concluyente no dice nada: era el resultado esperable aunque el efecto existiera. Interpretarlo como ausencia de efecto es un error frecuente y caro.
Y con potencia baja, un resultado positivo es sospechoso. Si la prueba sólo puede detectar diferencias muy grandes, cualquier diferencia que detecte será muy grande, y una parte de esa magnitud será azar. Los efectos que se publican desde estudios con poca potencia tienden a estar exagerados, incluso cuando el efecto real existe.
La combinación de las dos cosas explica bastante del ruido que circula: pruebas pequeñas que producen o resultados nulos que se ignoran o resultados espectaculares que no se replican.
La unidad, otra vez
El error más común al pensar en volumen no es de cálculo sino de unidad, y ya apareció en la sección de comparación.
Si la pregunta es sobre un formato, la unidad de observación es la pieza, y hacen falta muchas piezas. Que cada pieza tenga muchas reproducciones no aporta observaciones para esa pregunta: aporta precisión dentro de cada pieza.
Este error es especialmente tentador aquí porque el volumen de reproducciones es alto y produce la sensación de que hay datos de sobra. La sensación es correcta para preguntas dentro de una pieza y errónea para preguntas sobre el contenido.
| Palanca | Cómo se acciona | Coste |
|---|---|---|
| Más observaciones | Más piezas o más tiempo | Calendario |
| Efecto mayor | Probar cambios más ambiciosos | Riesgo editorial |
| Menos variabilidad | Estratificar por duración y formato | Menos casos por grupo |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
- El número de observaciones disponibles
- La variabilidad medida en la línea base
- El tamaño de efecto que se declara buscar
- Que con potencia baja un resultado nulo no informa
- Que con potencia baja un resultado positivo tiende a estar exagerado
- Que estratificar reduce la variabilidad y mejora la potencia
- Que un resultado nulo demuestra que no hay efecto
- Que muchas reproducciones garantizan una muestra suficiente para juzgar un formato
- Que una prueba sin cálculo previo se puede interpretar igual que una con él
El segundo punto de la derecha es el error de unidad, y es el más frecuente entre quienes trabajan con volúmenes grandes.
El cálculo previo y lo que revela
Hacer el cálculo antes de empezar tiene un efecto secundario incómodo y muy útil: en la mayoría de los casos revela que la prueba prevista no puede detectar el efecto que se busca.
Cuando eso ocurre hay tres salidas. Ampliar el número de observaciones, lo que suele significar esperar más tiempo. Buscar un efecto mayor, es decir, probar cambios más ambiciosos en lugar de ajustes finos. O reducir la variabilidad de la medida, por ejemplo estratificando por duración y formato para que la comparación sea más limpia.
La cuarta salida, que es la que se toma casi siempre, consiste en hacer la prueba de todos modos y esperar que salga algo. Es la que produce las conclusiones que después no se replican.
Muchas comparaciones sobre los mismos datos
Hay un problema relacionado que agrava todo lo anterior. Si sobre un mismo conjunto de datos se hacen muchas comparaciones, es muy probable que alguna resulte llamativa por azar.
Esto ocurre sin ninguna intención de engañar: se mira por formato, por duración, por día de la semana, por tema, y se informa de lo que destaca. El proceso genera hallazgos por construcción.
La contención es la misma que en el resto del sitio: escribir antes qué se va a comparar y con qué criterio, y declarar cuántas comparaciones se hicieron. Con esa declaración, quien lee puede juzgar. Sin ella, no.
Lo que conviene llevarse
La potencia es la resolución del instrumento y se decide antes de medir. Con potencia baja, un resultado nulo no informa y un resultado positivo tiende a estar exagerado.
La unidad de observación para preguntas sobre contenido es la pieza, no la reproducción. Y el cálculo previo suele revelar que la prueba prevista no puede funcionar, que es información valiosa antes de gastar el tiempo.