El supuesto que se rompe
Cualquier comparación entre dos versiones descansa en un supuesto: que los grupos que las reciben son equivalentes salvo en la versión. Si lo son, la diferencia observada se puede atribuir a la versión. Si no lo son, no.
En un sistema de recomendación ese supuesto no se cumple casi nunca, y por una razón que es la esencia del sistema: la asignación no es independiente del resultado. El modelo observa las primeras señales de cada pieza y decide en función de ellas a quién sigue entregándola.
Dicho de otra forma: el mecanismo que reparte el público está mirando la misma variable que el experimento quiere medir, y actúa sobre ella. No es un ruido añadido, es una realimentación.
Decisión del sistema de recomendación sobre a quién se entrega cada pieza y en qué volumen, tomada de forma continua a partir de señales de comportamiento.
No es aleatoria. No es independiente del resultado que se quiere medir. No es observable desde la cuenta. No es estable entre periodos.
Para que una comparación entre dos piezas fuera válida tendría que ser cierto que la asignación fue independiente de las señales tempranas de cada una, lo que contradice el funcionamiento declarado de estos sistemas.
Los cuatro mecanismos
Realimentación temprana. Las señales de los primeros minutos condicionan la distribución posterior. Una pieza que arranca bien por azar recibe más entrega y acumula más resultado, lo que refuerza la impresión de que era mejor.
Selección de público. El sistema no entrega cada versión al mismo tipo de personas. Si una versión encaja mejor con un perfil, el sistema la lleva a ese perfil, con lo que la comparación mezcla el efecto de la versión con el del público al que llegó.
Competencia interna. Dos piezas de la misma cuenta publicadas a la vez compiten entre sí por la atención de las mismas personas. La presencia de una afecta al resultado de la otra, que es exactamente lo que un diseño de comparación intenta evitar.
No estacionariedad. El sistema cambia mientras se mide. Un experimento que dure semanas puede empezar bajo un modelo y terminar bajo otro, sin que nadie lo sepa.
Lo que ofrece la superficie de pago
La distribución de pago permite algo más de control y no elimina el problema. Conviene ser preciso sobre qué se gana y qué no.
Se gana la posibilidad de fijar públicos y presupuestos, y en algunos productos de asignar personas a grupos de forma aleatoria. Eso resuelve, cuando está disponible, la parte de selección de público y buena parte de la realimentación.
No se gana el control sobre la optimización interna, que en la mayoría de los productos sigue asignando entregas según el rendimiento estimado. Si el sistema optimiza dentro de cada grupo, la comparación entre grupos ya no compara sólo las versiones: compara dos procesos de optimización distintos.
Tampoco se gana equivalencia con la superficie orgánica. Un resultado obtenido en distribución de pago describe el comportamiento en esa superficie, con ese público y con esa mecánica de entrega, y extrapolarlo a la orgánica es un salto que hay que declarar.
| Elemento | Orgánica | Pago |
|---|---|---|
| Elección del público | No | Parcialmente |
| Asignación aleatoria | No | En algunos productos |
| Optimización interna de la entrega | No | Normalmente no se desactiva |
| Momento de publicación | Sí | Sí |
| Volumen entregado | No | Parcialmente, vía presupuesto |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
- Los resultados de cada versión
- El calendario exacto de publicación
- Si hubo o no asignación controlada y de qué tipo
- Que la diferencia observada mezcla efecto de versión y efecto de reparto
- Que la alternancia reparte el efecto de calendario entre versiones
- Que la consistencia a lo largo de muchas repeticiones es difícil de explicar por azar
- Que una comparación orgánica entre dos piezas prueba cuál es mejor
- Que un resultado en distribución de pago se traslada a la orgánica
- Que un ajuste posterior corrige la falta de asignación aleatoria
Ningún tratamiento estadístico posterior repara una asignación que dependía del resultado. Es un problema de diseño, no de análisis.
Qué queda en pie
Tres diseños siguen siendo útiles dentro de estas restricciones, con expectativas ajustadas.
Alternancia en el tiempo. Publicar las dos versiones de forma alterna a lo largo de muchas semanas, no en bloques. No consigue equivalencia y reparte el efecto del calendario y del estado del sistema entre ambas. Es el diseño más barato y el más razonable en superficie orgánica.
Repetición del contraste. Repetir la misma comparación muchas veces con piezas distintas. Ninguna repetición aisla nada y la consistencia del resultado a lo largo de muchas repeticiones empieza a ser difícil de explicar por azar.
Separación geográfica en distribución de pago. Cuando la segmentación territorial es viable y las zonas son comparables antes de empezar, permite un contraste más limpio, con las condiciones que se detallan en grupos de control y qué se puede aislar de verdad.
Cómo se informa de un resultado así
Con una fórmula que reconozca la naturaleza de la evidencia. En lugar de la versión A funciona mejor, escribir: en las publicaciones alternadas del periodo, las piezas de tipo A mostraron mayor retención intermedia que las de tipo B. La asignación no fue controlada, de modo que la diferencia es compatible con un reparto distinto por parte del sistema.
Esa segunda frase no debilita el informe: lo hace resistente. Un resultado presentado con sus límites sobrevive a la pregunta incómoda, y un resultado presentado como prueba se derrumba con ella.
Lo que conviene llevarse
En un sistema de recomendación, la asignación del público depende del resultado que se quiere medir. Eso no es ruido: es realimentación, y no se corrige después.
La superficie de pago ofrece más control y no equivalencia con la orgánica. Lo que queda es alternancia, repetición y, cuando se puede, separación geográfica, siempre con el límite declarado en el propio informe.