Después de todas las objeciones
Los artículos anteriores de esta sección describen por qué la mayoría de las pruebas de contenido no producen la evidencia que dicen producir. Conviene terminar con lo contrario: qué sí se puede hacer.
La respuesta no es una técnica sofisticada. Es un conjunto de diseños modestos, con expectativas ajustadas, que producen evidencia mejor que la observación casual sin pretender ser lo que no son.
Comparación que se puede ejecutar sin control sobre la asignación del público, aceptando de forma explícita que los grupos no serán equivalentes.
No es un experimento controlado. No permite afirmar causalidad. No produce un resultado trasladable a otra superficie ni a otra cuenta.
Para que su resultado sea informativo tendría que ser cierto que se ha repetido lo suficiente y que el calendario ha repartido los efectos de entorno entre las condiciones comparadas.
Cuatro diseños viables
Uno: elementos que no dependen del reparto
Hay preguntas que se pueden responder dentro de una sola pieza, con lo que el problema de asignación desaparece. Todo lo relativo a la forma de la curva de retención es de este tipo.
Dónde se abandona una pieza, si un elemento concreto coincide con un escalón, si una sección larga produce una caída sostenida. Todo eso se observa dentro de la pieza, con su propio volumen de reproducciones como muestra, y no depende de a quién se entregó.
Es el terreno más firme disponible y el menos utilizado, porque produce hallazgos concretos y poco vistosos en lugar de conclusiones generales.
Dos: portadas y rótulos
En superficies donde la pieza se descubre primero como imagen fija, la portada y el rótulo se pueden cambiar sin tocar el vídeo. Eso permite una comparación con una ventaja importante: el contenido es idéntico.
Sigue habiendo problema de asignación y de momento, de modo que la comparación no es limpia. Es, sin embargo, la única situación en que la variable que cambia está perfectamente aislada, y eso hace la evidencia bastante más interpretable.
Tres: alternancia larga de formatos
El diseño de calendario descrito en orden de publicación y arrastre: alternar en lugar de agrupar, repartir el orden, mantener la frecuencia y observar durante muchas semanas.
No consigue equivalencia entre grupos y reparte los efectos de calendario y de entorno. Con suficientes repeticiones, un patrón consistente empieza a ser difícil de explicar sólo por azar.
Cuatro: contrastes acotados en distribución de pago
Cuando el producto de pago permite fijar el público y, en algunos casos, asignar de forma aleatoria, se puede construir un contraste más limpio para preguntas concretas. Sus resultados describen esa superficie y no se trasladan automáticamente a la orgánica.
| Diseño | Qué permite afirmar | Qué no |
|---|---|---|
| Dentro de una pieza | Dónde se abandona y con qué coincide | Que ese elemento causó el abandono |
| Portada y rótulo | Que una versión obtuvo más reproducciones | Que funcionará con otro contenido |
| Alternancia larga | Que un patrón se repite en el periodo | Que el formato causó la diferencia |
| Contraste en pago | Un resultado dentro de esa superficie | Que se traslada a la orgánica |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
- Lo que ocurre dentro de una pieza, con su propio volumen como muestra
- El calendario y el orden de publicación
- El protocolo escrito antes de empezar
- Que un patrón consistente en muchas repeticiones es difícil de explicar sólo por azar
- Que cambiar sólo la portada aísla mejor la variable que cambiar el vídeo
- Que un resultado en pago describe esa superficie y no la orgánica
- Que una comparación orgánica prueba causalidad
- Que un resultado positivo en una prueba pequeña se puede generalizar
- Que parar la prueba cuando los datos gustan no afecta al resultado
El tercer punto de la derecha es el error más silencioso: decidir el momento de parar mirando los resultados aumenta mucho la probabilidad de un hallazgo falso.
El protocolo mínimo
Cualquiera de los cuatro diseños mejora mucho con cinco decisiones tomadas antes de empezar y escritas en una página.
Qué se compara exactamente. Una sola variable, descrita de forma que otra persona pudiera reproducir la distinción.
Qué se mantiene constante. Duración, formato, hora, frecuencia, todo lo que se pueda fijar.
Cuántas observaciones y durante cuánto tiempo. Decidido de antemano, no cuando los resultados empiecen a gustar.
Qué diferencia se consideraría relevante. Escrita antes de mirar, con relación a la variación habitual de la cuenta.
Qué se hará con cada resultado posible. Incluido el resultado no concluyente, que es el más probable.
Cuándo parar
Hay una regla que evita el error más silencioso de todos: no se decide parar mirando los resultados.
Si una prueba se detiene en cuanto la diferencia parece favorable, la probabilidad de encontrar una diferencia favorable por azar aumenta mucho. Es un efecto conocido y no requiere mala intención: basta con mirar los datos a diario y decidir cuando parezcan concluyentes.
La contención es fijar de antemano el número de observaciones o la fecha de cierre, y respetarlo. Si hay que mirar antes por razones operativas, se mira sin decidir.
Lo que conviene llevarse
Quedan cuatro diseños viables: lo que ocurre dentro de una pieza, portadas y rótulos, alternancia larga y contrastes acotados en distribución de pago.
Ninguno produce una prueba definitiva y todos producen algo mejor que una impresión. El protocolo mínimo cabe en una página y la regla de no decidir mirando es la que más resultados falsos evita.