La pregunta que casi nadie hace
Ante cualquier cambio en una cifra, la pregunta habitual es a qué se debe. La pregunta previa, que se salta casi siempre, es si el cambio es distinguible de la variación normal.
Es una pregunta previa porque si la respuesta es que no, la primera pregunta no tiene sentido: se estaría buscando la causa de algo que no ha ocurrido. Buena parte del trabajo analítico del sector consiste en explicar fluctuaciones.
El coste de este error no es sólo tiempo perdido. Cada explicación de una fluctuación se convierte en una regla de trabajo, y las reglas construidas sobre ruido dirigen el trabajo de gente real durante meses.
Rango dentro del cual oscilan los resultados de una cuenta en condiciones normales, medido durante un periodo sin intervención.
No es una tolerancia fijada por convenio. No procede de ninguna referencia externa. No se puede estimar sin histórico propio.
Para que sirva como criterio tendría que ser cierto que el periodo de medición fue representativo y que las definiciones de métrica no cambiaron durante él.
Tres criterios sin fórmulas
Se puede decidir con bastante fiabilidad sin recurrir a ninguna prueba estadística formal, que además rara vez se aplica bien en este contexto.
Primero: ¿es mayor que la variación habitual? Si la cuenta oscila normalmente dentro de un rango conocido, un valor dentro de ese rango no es una noticia. Este criterio exige una línea base con variabilidad registrada, y por eso el artículo sobre la línea base es el requisito previo de este.
Segundo: ¿se repite? Una observación es una anécdota. Dos observaciones independientes en condiciones equivalentes empiezan a ser un patrón. La repetición es el criterio más potente disponible y el más barato, porque sólo exige paciencia.
Tercero: ¿coincide con algo que explique el cambio sin necesidad de la hipótesis? Un cambio de definición de la plataforma, una fecha señalada, un cambio en el calendario de publicación. Si coincide, la explicación alternativa es más económica.
El problema del volumen
En vídeo vertical el volumen de reproducciones suele ser alto y el número de piezas suele ser bajo. Esa combinación es engañosa.
Muchas reproducciones sobre una sola pieza no permiten concluir sobre el formato, porque la unidad de observación es la pieza y sólo hay una. Es un error de nivel: se confunde el tamaño de la muestra de espectadores con el tamaño de la muestra de piezas.
Si la pregunta es sobre un elemento del vídeo, la unidad es la pieza y hacen falta muchas piezas. Si la pregunta es sobre el comportamiento dentro de una pieza concreta, entonces sí, el volumen de reproducciones es la muestra relevante.
Formular la pregunta antes de mirar el dato es lo que determina cuál es la unidad. Hacerlo al revés lleva a usar el volumen disponible como si respondiera a la pregunta que interesa.
| Pregunta | Unidad de observación | Qué hace falta |
|---|---|---|
| ¿Este formato retiene mejor? | La pieza | Muchas piezas de cada formato |
| ¿Dónde abandona la gente esta pieza? | La reproducción | Volumen dentro de esa pieza |
| ¿Ha cambiado el comportamiento de la cuenta? | El periodo | Varios periodos comparables |
| ¿Funciona este cambio de portada? | La pieza | Asignación controlada o alternancia |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
- El valor de cada observación
- El rango de variación habitual, si hay línea base
- El número de observaciones independientes disponibles
- Que una diferencia repetida es más probablemente real que una única
- Que una diferencia dentro del rango habitual no requiere explicación
- Que una coincidencia con un cambio de definición explica el movimiento sin más hipótesis
- Que una diferencia grande es por eso mismo real
- Que muchas reproducciones sobre una pieza permiten concluir sobre el formato
- Que una prueba estadística aplicada después de mirar convierte un hallazgo en un resultado
El tercer punto de la derecha es el más técnico y el más frecuente entre quienes sí saben estadística: aplicar la prueba después de elegir la comparación no restaura su validez.
Decidir antes de mirar
Hay una práctica que cambia radicalmente la calidad de las conclusiones y que no cuesta dinero: escribir antes de mirar los datos qué diferencia se consideraría relevante y qué se haría en cada caso.
Escribirlo antes elimina la posibilidad de ajustar el criterio a lo que se ha encontrado, que es el mecanismo por el que casi cualquier conjunto de datos puede producir un hallazgo. Cuantas más comparaciones se hacen sobre los mismos datos, más probable es encontrar alguna diferencia llamativa por azar, y ese efecto no se percibe desde dentro.
El documento no tiene que ser largo. Tres líneas: qué se compara, qué diferencia se consideraría relevante, y qué decisión se tomará en cada escenario. Guardado con fecha, convierte una lectura de datos en algo parecido a una comprobación.
Cómo se dice que no se sabe
El resultado más frecuente de aplicar estos criterios es que no hay evidencia suficiente para concluir. Ese resultado es legítimo, es informativo y hay que saber presentarlo.
La formulación útil no es no sabemos, que suena a fracaso. Es la diferencia observada está dentro del rango de variación habitual de la cuenta, de modo que no se puede atribuir a la intervención. Seguido, si procede, de qué haría falta para poder concluir: más piezas, más tiempo, una asignación controlada.
Presentado así, un resultado negativo es una aportación: acota lo que se puede afirmar y evita que alguien tome una decisión sobre nada.
Lo que conviene llevarse
Antes de buscar la causa de un cambio hay que decidir si el cambio existe. La respuesta depende de la variación habitual de la cuenta, de si se repite y de si hay explicaciones alternativas más económicas.
Muchas reproducciones sobre pocas piezas no permiten concluir sobre el contenido, porque la unidad de observación es la pieza. Y escribir el criterio antes de mirar es la intervención más eficaz disponible.