Cuatro cosas que cambian entre dos fechas
La comparación entre piezas es el gesto analítico más frecuente del sector y también el menos examinado. Vale la pena enumerar qué se está comparando además de las piezas.
El sistema. Los modelos de recomendación se actualizan de forma continua. Los cambios no se anuncian con antelación, no llevan número de versión público y no se pueden fechar desde fuera. Dos piezas publicadas con semanas de diferencia pueden haber sido distribuidas por sistemas que no se comportan igual.
La competencia por la atención. El volumen y el tipo de contenido publicado por otros en ese momento afecta a lo que el sistema tiene disponible para servir. Una semana con mucha actividad en la categoría no ofrece las mismas condiciones que una semana tranquila.
La audiencia disponible. Quién está conectado y en qué estado de ánimo, por decirlo de forma no técnica, cambia con el día de la semana, con la hora, con el calendario escolar y con acontecimientos que no dependen de nadie.
El contexto externo. Una noticia que ocupa la conversación pública desplaza la atención de todo lo demás. No hay forma de compensarlo y sí hay forma de registrarlo.
Operación por la que se enfrentan los resultados de dos o más publicaciones para extraer una conclusión sobre el contenido.
No es una operación neutra: incorpora todas las diferencias de entorno entre las fechas de publicación. No aísla el efecto del contenido. No corrige por estado del sistema, competencia del momento ni contexto externo.
Para que la diferencia observada se pueda atribuir al contenido tendría que ser cierto que el entorno fue equivalente en ambas fechas, y eso no es comprobable porque los cambios del sistema de recomendación no son públicos ni datables.
El error de atribución que produce
Cuando dos piezas publicadas en fechas distintas obtienen resultados distintos, el análisis por defecto atribuye la diferencia al contenido, porque el contenido es lo que se ve y lo que se controla.
Esa atribución es un ejemplo de un sesgo general muy documentado: se explica lo observado con la causa más disponible, no con la más probable. Aquí la causa disponible es la pieza y las causas alternativas son invisibles porque nadie las registra.
El efecto acumulado es una organización que aprende reglas editoriales falsas. Se concluye que un formato funciona porque coincidió con una semana favorable, se repite, deja de funcionar y se concluye que el público cambió. Ninguna de las dos conclusiones tiene base y ambas modifican el trabajo del equipo.
Qué se puede controlar y qué sólo se puede declarar
La distinción práctica más útil separa lo que está en manos de quien publica de lo que no.
Se puede controlar la duración, el formato, la hora y el día de publicación, la portada y el rótulo, y la ventana en la que se mide. Todo eso se fija por escrito antes de publicar y se mantiene constante entre las piezas que se van a comparar.
Sólo se puede declarar el estado del sistema, la competencia del momento y el contexto externo. Declarar significa registrarlos en una hoja junto a la serie, con fecha, para poder consultarlos meses después.
El registro de acontecimientos es la herramienta más barata de este oficio: una hoja con fecha y una línea de texto cada vez que ocurre algo relevante, dentro o fuera de la organización. No permite corregir nada y permite entender casi todo cuando se mira hacia atrás.
| Variable | ¿Se puede controlar? | Qué hacer |
|---|---|---|
| Duración y formato | Sí | Fijar antes de publicar |
| Hora y día | Sí | Fijar o alternar |
| Portada y rótulo | Sí | Fijar y registrar |
| Estado del sistema | No | Registrar la fecha, declarar el límite |
| Competencia del momento | No | Registrar en la hoja de acontecimientos |
| Contexto externo | No | Registrar en la hoja de acontecimientos |
Ordenación de definiciones, no de resultados. Ninguna celda contiene una cifra, porque este cuadro clasifica lo que cada término designa.
Cuándo sí se puede comparar
Hay tres situaciones en las que la comparación entre fechas es defendible, siempre con reservas explícitas.
Cuando la diferencia es muy grande y persistente. Una diferencia que se repite en muchas piezas y en periodos distintos empieza a sobrevivir al ruido del entorno. Sigue sin ser una prueba y es una regularidad observada.
Cuando se comparan agregados largos. Comparar dos trimestres completos promedia parte del ruido de calendario, aunque no el efecto de un cambio de sistema.
Cuando se publica de forma alternada. Si dos formatos se alternan a lo largo de semanas en lugar de agruparse en bloques, el efecto del calendario se reparte entre ambos. Es la aproximación más barata a un diseño razonable dentro de la superficie orgánica, y se explica en pruebas de creatividad que sí se pueden hacer.
- Los resultados de cada pieza en su ventana
- La fecha y hora de publicación de cada una
- Las variables que se fijaron de antemano: duración, formato, portada
- Que una diferencia repetida en muchas piezas empieza a sobrevivir al ruido
- Que alternar formatos reparte el efecto del calendario entre ambos
- Que un agregado trimestral promedia parte del ruido de corto plazo
- Que la diferencia entre dos piezas mide el efecto del contenido
- Que se puede corregir el efecto del calendario con un factor de ajuste
- Que el sistema de recomendación se comportó igual en ambas fechas
La segunda afirmación de la derecha aparece con frecuencia en herramientas comerciales. No existe una fuente pública que sostenga ningún factor de ajuste para esta superficie.
Cómo se escribe una comparación defendible
La forma de la frase importa. Una comparación bien redactada contiene cuatro elementos: qué se compara, en qué condiciones, qué diferencia se observó y qué explicaciones alternativas quedan abiertas.
Un ejemplo de estructura, sin cifras porque las cifras dependerían de cada caso: las piezas de formato A publicadas entre tal fecha y tal fecha, con duración dentro del mismo tramo y medidas a los siete días, mostraron mayor retención en el punto intermedio que las de formato B publicadas en el mismo intervalo. No se ha controlado el efecto del día de publicación ni el estado del sistema, de modo que la diferencia es compatible con causas ajenas al formato.
Esa última frase es la que separa un informe defendible de uno que se cae en la primera pregunta. Cuesta una línea y protege todo lo demás.
Lo que conviene llevarse
Comparar dos piezas publicadas en fechas distintas es comparar dos entornos además de dos contenidos. La diferencia observada mezcla ambas cosas y no hay forma de separarlas después.
Lo que sí se puede hacer es fijar de antemano lo controlable, registrar lo que no se controla y escribir en el informe qué explicaciones alternativas quedan abiertas.