La pregunta contrafáctica
Toda medición de efecto se apoya en una pregunta que no se puede observar directamente: qué habría pasado si no hubiéramos hecho esto.
Esa situación alternativa no ocurre. Sólo ocurre una de las dos, y por tanto el efecto nunca se observa: se estima comparando con algo que se parezca a lo que habría pasado. Todo el problema de la medición de efectos consiste en construir ese algo.
La atribución no hace nada de esto. Reparte lo ocurrido entre los contactos que dejaron rastro, sin preguntarse qué habría ocurrido sin ellos. Son dos operaciones distintas, y confundirlas es el origen de casi todas las afirmaciones de retorno que circulan.
Diferencia estimada entre lo ocurrido en un grupo expuesto y lo ocurrido en un grupo comparable no expuesto, durante el mismo periodo.
No es un reparto de conversiones. No suma con las cifras de atribución. No es un número único: es un rango de valores compatibles con lo observado.
Para que la estimación sea válida tendría que ser cierto que los dos grupos eran comparables antes de la exposición, que no hubo contaminación entre ellos, que la ventana cubrió el efecto y que el criterio se fijó antes de mirar los datos.
Cómo se construye un grupo comparable
Hay tres formas de conseguir un grupo no expuesto que sirva de comparación, ordenadas de más a menos sólida.
Asignación aleatoria. Se decide al azar quién recibe la exposición y quién no. Es la forma más sólida porque la asignación aleatoria hace que los dos grupos sean comparables en todo, incluidas las características que nadie ha pensado en medir. Requiere control sobre la entrega, que en superficies de recomendación es limitado y se trata en grupos de control y qué se puede aislar de verdad.
Separación geográfica. Se activa la exposición en unas zonas y no en otras, y se comparan. Es viable cuando la entrega admite segmentación territorial y exige que las zonas sean comparables antes de empezar, cosa que se comprueba con el histórico.
Comparación temporal. Se compara un periodo con exposición frente a otro sin ella. Es la más débil, porque entre los dos periodos cambia todo lo demás, y sólo es aceptable si se combina con alguna forma de control.
Las condiciones que casi nunca se cumplen
Un diseño de incrementalidad puede fallar por motivos que no tienen nada que ver con el canal medido. Conviene tenerlos presentes antes de empezar.
Contaminación entre grupos. Si quien está en el grupo no expuesto se entera igualmente, por conversación o porque comparte dispositivo, la diferencia se diluye y el efecto parece menor de lo que es.
Ventana insuficiente. Si el efecto se manifiesta con retraso y la medición se cierra antes, se concluye que no hubo efecto cuando lo que hubo fue impaciencia.
Volumen insuficiente. Si el efecto esperado es pequeño respecto a la variación natural, hace falta mucho volumen para distinguirlo. La mayoría de las pruebas del sector no lo tienen, y se trata en potencia estadística y las pruebas que no la tienen.
Decisión tomada después. Si se decide qué medir y con qué criterio una vez vistos los resultados, el diseño pierde su validez, por mucho que la mecánica haya sido correcta.
| Diseño | Solidez | Requisito principal |
|---|---|---|
| Asignación aleatoria | Alta | Control sobre la entrega |
| Separación geográfica | Media | Zonas comparables antes de empezar |
| Comparación temporal | Baja | Alguna forma adicional de control |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
- Lo ocurrido en el grupo expuesto
- Lo ocurrido en el grupo no expuesto
- El diseño y el criterio fijados por escrito antes de empezar
- Que la diferencia entre grupos estima el efecto, dentro de un rango
- Que un rango que incluye el cero significa que no se puede afirmar un efecto
- Que la contaminación entre grupos reduce la diferencia observada
- Un retorno expresado como número único sin intervalo
- Un efecto incremental deducido de un modelo de atribución
- Una cifra de retorno tomada de un caso de otra empresa
Las tres afirmaciones de la derecha aparecen a diario en presentaciones del sector. Ninguna procede de un diseño que permita sostenerlas.
Qué devuelve y por qué molesta
Un estudio de incrementalidad bien hecho no devuelve un número: devuelve un rango de valores compatibles con lo observado, más una afirmación sobre si ese rango incluye la ausencia de efecto.
Esa forma de resultado tiene dos consecuencias organizativas incómodas. La primera es que no cuadra con el total: las conversiones incrementales no suman con las conversiones registradas, porque miden cosas distintas. La segunda es que a menudo el rango incluye el cero, es decir, el resultado es que no se puede descartar que el efecto sea nulo.
Ese resultado es informativo y suele recibirse como un fracaso del estudio. No lo es: significa que con el volumen y el diseño disponibles no se puede afirmar un efecto. Puede haberlo y no se ha demostrado. Decirlo así, en esas palabras, es exactamente el tipo de precisión que este oficio requiere.
Cuándo merece la pena
La incrementalidad es cara en tiempo y en oportunidad, porque implica renunciar a exponer a una parte del público. No se hace para todo.
Merece la pena cuando la decisión es grande y recurrente: mantener o retirar una línea de inversión, elegir entre dos asignaciones de presupuesto muy distintas, justificar un canal ante quien no lo entiende. En esos casos, el coste del estudio es pequeño comparado con el de decidir a ciegas durante años.
No merece la pena para decisiones editoriales pequeñas y reversibles, donde la observación y el criterio profesional son suficientes y mucho más rápidos.
Lo que conviene llevarse
La incrementalidad estima cuánto de lo ocurrido no habría ocurrido sin la exposición. Es otra pregunta que la atribución, no una versión mejorada.
Exige un grupo comparable, una ventana suficiente, volumen y una decisión escrita antes de mirar. Devuelve un rango que a veces incluye la ausencia de efecto, y ese resultado es información, no fracaso.