Calculadora de teste A/B
A/B Test Calculator
Executa um teste z de duas proporções e um qui-quadrado sobre duas taxas de conversão com intervalos de confiança de Wilson, e calcula o tamanho da amostra para um efeito e poder alvo.
Duas taxas de conversão entram, e sai um veredito sobre se a diferença é real: um teste z de duas proporções, um teste qui-quadrado e intervalos de confiança de Wilson para cada taxa. Ele também calcula o tamanho da amostra de que você precisa antes de começar, que é o cálculo que teria salvado a maioria dos testes que as pessoas interrompem cedo.
O que você quer fazer
Observado
A (controle)
B (variante)
Resultado do teste
Significativo (p = 0,0074 < 0,05)
Taxa de conversão de A
20,00%
intervalo de 95% 17,64% – 22,59% (Wilson)
Taxa de conversão de B
25,00%
intervalo de 95% 22,42% – 27,78% (Wilson)
Diferença (B − A)
+5,00% pp
intervalo 1,35% – 8,65% pp
Ganho relativo
+25,0%
Teste z de duas proporções (bilateral)
p̄ = 0,225 · SE = 0,01867 · z = 2,677 · p = 0,0074
Teste qui-quadrado (1 gl)
χ² = 7,168 · p = 0,0074
χ² com correção de Yates = 6,885 · p = 0,0087
Como usar
Insira os dois grupos
Visitantes e conversões de cada um. Contagens brutas, não taxas — as contagens são o que carrega a incerteza.
Leia o intervalo antes do valor-p
O intervalo de Wilson diz onde cada taxa verdadeira plausivelmente está. Dois intervalos que se sobrepõem muito são duas taxas que você ainda não consegue distinguir, diga o valor-p o que disser.
Planeje o próximo teste com o painel de tamanho da amostra
Dê-lhe a sua taxa de base e o menor ganho que vale a pena detectar, e ele diz de quantos visitantes por grupo você precisa. Rodar até parecer significativo não é um teste.
Perguntas frequentes
O que p < 0,05 realmente significa?
Que, se genuinamente não houvesse diferença, uma lacuna deste tamanho ou maior apareceria menos de uma vez em vinte. Não é a probabilidade de B ser melhor, e não diz nada sobre quanto melhor.
Posso parar assim que ficar significativo?
Não. Espiar repetidamente e parar no primeiro momento significativo infla a taxa de falsos positivos bem além de 5% — com verificações diárias ao longo de quinze dias, fica mais perto de 20%. Fixe o tamanho da amostra primeiro e rode até ele.
Por que o tamanho de amostra necessário é tão grande?
Porque o efeito que você pediu para detectar é pequeno. Reduzir à metade o ganho detectável mais ou menos quadruplica a amostra necessária. Se o número é impossível, a conclusão honesta é que este teste não consegue responder a essa pergunta, e não que o número está errado.
Outra calculadora dá metade deste tamanho de amostra
Ela está rodando um teste unilateral, ou usando outro α, ou omitindo a correção de continuidade. Esta é bilateral com α = 0,05 e a correção de Fleiss, Levin e Paik, e imprime a fórmula para que você veja qual premissa difere.
Pode receber de
Estatística descritiva
Descriptive Statistics
Calcula média, mediana, moda, variância, desvio padrão, quartis e outliers de números colados.
Conversor de unidades
Unit Converter
Converte comprimento, peso, área, volume, temperatura, velocidade, pressão e unidades de dados, inclusive unidades coreanas.
Conversor de base numérica
Number Base Converter
Converte entre binário, octal, decimal, hexadecimal e qualquer base até 36, com visões bit a bit.
Calculadora de porcentagem
Percentage Calculator
Calcula porcentagem de um valor, variação percentual, desconto, acréscimo e porcentagem reversa num só lugar.
Em seguida
Estas aceitam o que esta ferramenta produz, então o resultado pode ir direto.
Gráfico rápido
Quick Chart
Desenha um gráfico de barras, linhas, área, pizza ou dispersão a partir de uma tabela, com eixos arredondados e legenda, e exporta como SVG ou PNG.
Regressão e correlação
Regression & Correlation
Ajusta um modelo linear, polinomial, exponencial, logarítmico ou de potência a dados pareados e informa R², r de Pearson, ρ de Spearman e resíduos.
Estatística descritiva
Descriptive Statistics
Calcula média, mediana, moda, variância, desvio padrão, quartis e outliers de números colados.
Conversor de moedas
Currency Converter
Converte entre cerca de trinta moedas pelas taxas de referência diárias do BCE, cruzadas pelo euro, ou por uma taxa que você digitar.
Diferença entre datas
Date Difference
Conta dias, semanas, meses e anos entre duas datas, com contagem regressiva e opção de dias úteis.
Calculadora de porcentagem
Percentage Calculator
Calcula porcentagem de um valor, variação percentual, desconto, acréscimo e porcentagem reversa num só lugar.