Calculadora de tamaño de muestra A/B.
Detener un test A/B apenas una variante va ganando es la causa número uno de falsos ganadores. Esta calculadora te dice, antes de lanzar, cuántos visitantes por variante y cuántos días necesitas para que el resultado sea confiable, a partir de tu conversión actual, el efecto que quieres detectar, la confianza y la potencia. Definir la muestra de antemano evita decisiones basadas en ruido y le da rigor a tu experimentación.
Tu test
La conversión de tu versión de control hoy.
Mejora relativa que quieres poder detectar. Ej: 10% sobre una base de 5% es llegar a 5,5%.
Para estimar cuántos días necesitas correr el test.
Resultado
Muestra por variante
0.
Total del test (A + B)
0
Duración estimada
-
Detectas de 5% a
-
Nivel
-
El costo de detectar cambios pequeños
Por qué calcular la muestra antes de testear.
El error más común y más caro del testing es detener un experimento apenas una variante va ganando. Con poca muestra, esa ventaja suele ser ruido: al día siguiente se da vuelta. Calcular la muestra necesaria de antemano te dice cuándo el resultado será de fiar, y evita decisiones basadas en falsos ganadores.
La regla de oro: define la muestra y la duración antes de lanzar, y no mires el resultado para decidir cuándo parar. Cambios grandes se detectan con poca muestra; afinar decimales exige muchísimo tráfico.
Preguntas frecuentes.
¿Qué es el efecto mínimo a detectar (MDE)?
Es la mejora más pequeña que quieres poder identificar con confianza. Cuanto más pequeño el efecto, más muestra necesitas: detectar un salto del 20% es barato, afinar un 2% puede requerir cientos de miles de visitas.
¿Qué confianza y potencia uso?
El estándar es 95% de confianza (probabilidad de no cantar un falso positivo) y 80% de potencia (probabilidad de detectar un efecto real que sí existe). Súbelos si el costo de equivocarse es alto.
¿Puedo parar el test si ya va ganando?
No conviene. Mirar el resultado y parar al ver una ventaja infla enormemente los falsos positivos. Espera a la muestra calculada, o usa métodos secuenciales diseñados para eso.
¿Sirve para más de dos variantes?
La muestra por variante se mantiene, pero al comparar varias a la vez debes ajustar por comparaciones múltiples, lo que en la práctica pide algo más de muestra y disciplina.
El siguiente paso
Testear bien es hacer crecer el Negocio con evidencia.
Diseñar experimentos que muevan la aguja, y leerlos sin engañarse, es parte de lo que hace Futture. Conversemos tu caso.