Tamaño de muestra y duración de test.
La mitad de los tests que se dan por concluidos nunca tuvieron muestra suficiente para concluir nada. Esta herramienta calcula cuántos visitantes necesitas por variante para detectar el efecto que buscas, cuántas semanas tarda con tu tráfico, y cuál es el efecto mínimo que tu volumen te permite detectar. Ese último número suele ser la mala noticia útil: si tu sitio no puede detectar menos de un 20% de mejora, no tiene sentido testear cambios de color.
Tu test
Negocio
Resultado
Duración del test
, .
Visitantes por variante
,
Visitantes totales
,
Efecto mínimo detectable en 4 semanas
,
,Conversión objetivo
,
Valor anual si gana
,
Viabilidad
,
,Semanas necesarias según la mejora buscada
Cómo se calcula.
El tamaño de muestra sale de la fórmula estándar para comparar dos proporciones, con corrección por comparaciones múltiples cuando hay más de dos variantes.
Detener un test cuando alcanza significancia por primera vez infla los falsos positivos. Define la duración antes de partir y respétala, aunque el gráfico se vea tentador en el día tres.
Preguntas frecuentes.
¿Por qué mi test necesita tanta muestra?
Porque el tamaño crece con el cuadrado del efecto que buscas: detectar una mejora de 5% cuesta unas cuatro veces más muestra que detectar una de 10%. Si tu tráfico es acotado, la salida no es esperar más sino testear cambios más ambiciosos.
¿Sirve testear con tres o cuatro variantes?
Solo con tráfico abundante. Cada variante adicional exige corregir el nivel de significancia y multiplica la muestra total. Con volumen limitado, dos variantes bien pensadas entregan aprendizaje real y cuatro entregan ruido con apariencia de dato.
El siguiente paso
Retener rinde más que adquirir y nosotros lo operamos.
Calcular es el primer paso. Convertir esos números en crecimiento medible es lo que hace Futture, todos los días. Conversemos tu caso.