Saltar al contenido

Calculadora de pruebas A/B

A/B Test Calculator

Aplica una prueba z de dos proporciones y una chi-cuadrado a dos tasas de conversión con intervalos de Wilson, y calcula el tamaño de muestra para un efecto y una potencia dados.

Entran dos tasas de conversión y sale un veredicto sobre si la diferencia es real: una prueba z de dos proporciones, una prueba de chi cuadrado e intervalos de confianza de Wilson para cada tasa. También calcula el tamaño de muestra que necesitas antes de empezar, que es el cálculo que habría salvado a la mayoría de las pruebas que la gente detiene antes de tiempo.

🔒 Se ejecuta por completo en tu navegadorab-teststatisticsexperimentmarketing

Qué quieres hacer

Modo
Nivel de significación α

Observado

A (control)

B (variante)

Resultado del contraste

Significativo (p = 0,0074 < 0,05)

Tasa de conversión de A

20,00 %

intervalo al 95 % 17,64 % – 22,59 % (Wilson)

Tasa de conversión de B

25,00 %

intervalo al 95 % 22,42 % – 27,78 % (Wilson)

Diferencia (B − A)

+5,00 % pp

intervalo 1,35 % – 8,65 % pp

Mejora relativa

+25,0 %

Contraste z de dos proporciones (bilateral)

p̄ = 0,225 · SE = 0,01867 · z = 2,677 · p = 0,0074

Contraste chi-cuadrado (1 gl)

χ² = 7,168 · p = 0,0074

χ² con corrección de Yates = 6,885 · p = 0,0087

El contraste z usa el error estándar combinado bajo la hipótesis nula; el intervalo de confianza de la diferencia usa el no combinado. Cada intervalo de tasa de conversión es un intervalo de puntuación de Wilson, así que nunca baja del 0 % cuando hay pocas conversiones. La distribución normal sale de la serie de Marsaglia (2004), sus cuantiles de la aproximación de Acklam con una corrección de Halley, y la chi-cuadrado de la función gamma incompleta (Numerical Recipes §6.2). Si otra calculadora de la web te da la mitad o el doble de esta muestra, está haciendo un contraste unilateral o usando otra α.

Cómo se usa

  1. Introduce los dos grupos

    Visitantes y conversiones de cada uno. Recuentos en bruto, no tasas: los recuentos son lo que lleva la incertidumbre.

  2. Lee el intervalo antes que el valor p

    El intervalo de Wilson dice dónde está plausiblemente cada tasa real. Dos intervalos que se solapan mucho son dos tasas que todavía no puedes distinguir, diga lo que diga el valor p.

  3. Planifica la siguiente prueba con el panel de tamaño de muestra

    Dale tu tasa base y la mejora más pequeña que merezca la pena detectar, y te dice cuántos visitantes por grupo necesitas. Correr hasta que parezca significativo no es una prueba.

Preguntas frecuentes

¿Qué significa realmente p < 0,05?

Que si de verdad no hubiera ninguna diferencia, una brecha así de grande o mayor aparecería menos de una vez de cada veinte. No es la probabilidad de que B sea mejor, y no dice nada sobre cuánto mejor.

¿Puedo parar en cuanto se vuelva significativo?

No. Mirar repetidamente y parar en el primer momento significativo infla la tasa de falsos positivos bastante por encima del 5 %; con comprobaciones diarias durante dos semanas está más cerca del 20 %. Fija primero el tamaño de muestra y corre hasta alcanzarlo.

¿Por qué el tamaño de muestra necesario es tan grande?

Porque el efecto que pediste detectar es pequeño. Reducir a la mitad la mejora detectable cuadruplica aproximadamente la muestra necesaria. Si el número es imposible, la conclusión honesta es que esta prueba no puede responder a esa pregunta, no que el número esté mal.

Otra calculadora da la mitad de este tamaño de muestra

Está haciendo una prueba unilateral, o usando otro α, u omitiendo la corrección de continuidad. Esta es bilateral con α = 0,05 y la corrección de Fleiss, Levin y Paik, e imprime la fórmula para que veas qué supuesto difiere.

Puede recibir de

Después

Estas aceptan lo que produce esta herramienta, así que el resultado puede pasar directamente.