Calculadora de tests A/B.
Planifica y evalúa tus experimentos con rigor estadístico. Calcula cuántos visitantes y días necesitas para detectar una mejora, y comprueba si tu test ya tiene un ganador confiable, sin cortar antes de tiempo ni decidir sobre ruido.
Planifica tu test
La tasa que convierte hoy la versión de control.
El aumento relativo que quieres poder detectar. 10% sobre 3% es pasar a 3,3%.
Repartidas entre las 2 variantes.
Muestra por variante
0
Total (A + B)
-
Duración estimada
-
Detecta pasar a
-
Diferencia a medir
-
-
Cómo leer la significancia.
La significancia estadística responde una pregunta: ¿la diferencia entre A y B es real o pudo salir por azar? El estándar de la industria es un 95% de confianza, que equivale a un valor p de 0,05. Bajo ese umbral, todavía no puedes declarar un ganador con tranquilidad.
Dos advertencias: no mires el test todos los días para "parar cuando gana" (eso infla los falsos positivos), y asegúrate de tener muestra suficiente. Un uplift enorme con pocos datos casi nunca es significativo. Esta calculadora usa un test de dos colas, el más conservador.
Preguntas frecuentes sobre tests A/B.
¿Qué significa 95% de confianza?
Que hay solo un 5% de probabilidad de que la diferencia observada entre A y B se deba al azar. Es el umbral estándar para declarar un resultado significativo y tomar una decisión.
¿Cuántos visitantes necesito?
Depende de tu tasa de conversión base y del tamaño del efecto que quieras detectar. En general, mientras más pequeña la diferencia esperada, más muestra necesitas. Con conversiones bajas, los tests requieren miles de visitantes por variante.
¿Puedo detener el test cuando ya gana una versión?
No es recomendable. Mirar el test repetidamente y parar apenas cruza el 95% infla los falsos positivos. Define de antemano la duración o el tamaño de muestra y respétalo.
¿Qué hago si no llego a significancia?
Deja correr más tiempo, aumenta el tráfico a la prueba, o acepta que el cambio no tuvo un efecto detectable. Un test no concluyente también es información: te evita implementar algo que no mueve la aguja.
¿Qué es un test A/B?
Es un experimento que compara dos versiones (A y B) de una página, anuncio o email para ver cuál convierte mejor, dividiendo el tráfico al azar entre ambas.
¿Cuándo un test A/B es significativo?
Cuando la diferencia entre variantes supera un umbral estadístico (habitualmente 95% de confianza) con suficiente muestra. Antes de eso, la diferencia puede ser azar.
¿Cuánto tráfico necesito para un test A/B?
Depende de tu conversión actual y de la mejora que quieras detectar: mientras menor sea el efecto a medir, más muestra necesitas. Usa una calculadora de tamaño de muestra para estimarlo antes de lanzar.
El siguiente paso
Testear es aprender y nosotros lo hacemos sistema.
Calcular es el primer paso. Convertir esos números en crecimiento medible es lo que hace Futture, todos los días. Conversemos tu caso.