跳到正文

A/B 测试计算器

A/B Test Calculator

对两个转化率做双比例 z 检验和卡方检验,给出 Wilson 置信区间,并按目标效应和检验力算出需要多大样本。

输入两个转化率,得到差异是否真实的结论:双比例 z 检验、卡方检验,以及每个转化率的 Wilson 置信区间。它还会计算你开始之前需要的样本量,这个计算本可以挽救大多数被提前停掉的测试。

🔒 完全在你的浏览器里运行ab-teststatisticsexperimentmarketing

要做什么

模式
显著性水平 α

观测值

A(对照组)

B(实验组)

检验结果

显著(p = 0.0074 < 0.05)

A 的转化率

20.00%

95% 区间 17.64% – 22.59%(Wilson)

B 的转化率

25.00%

95% 区间 22.42% – 27.78%(Wilson)

差值(B − A)

+5.00% 个百分点

区间 1.35% – 8.65%个百分点

相对提升

+25.0%

两比例 z 检验(双侧)

p̄ = 0.225 · SE = 0.01867 · z = 2.677 · p = 0.0074

卡方检验(自由度 1)

χ² = 7.168 · p = 0.0074

耶茨校正 χ² = 6.885 · p = 0.0087

z 检验用的是原假设下的合并标准误,而差值的置信区间用的是不合并的那一个。每个转化率区间都是 Wilson 得分区间,所以转化很少时也不会掉到 0% 以下。正态分布来自 Marsaglia (2004) 的级数,分位数用 Acklam 近似加 Halley 校正,卡方由不完全伽马函数(Numerical Recipes §6.2)直接算出。如果网上别的计算器给你的样本量是这里的一半或两倍,那它要么在做单侧检验,要么用的 α 不一样。

怎么用

  1. 填入两组

    每组的访客数和转化数。原始计数,不是比率——不确定性是由计数承载的。

  2. 先读区间,再读 p 值

    Wilson 区间说明每个真实转化率合理地落在哪里。两个大幅重叠的区间就是两个你还分不开的转化率,不管 p 值说什么。

  3. 用样本量面板规划下一次测试

    给它你的基准转化率和值得检测的最小提升,它告诉你每组需要多少访客。跑到看起来显著为止,不是测试。

常见问题

p < 0.05 到底是什么意思?

意思是:如果确实没有差异,这么大或更大的差距出现的概率不到二十分之一。它不是 B 更好的概率,也不说明好多少。

一显著就能停吗?

不能。反复偷看并在第一个显著的时刻停下,会把假阳性率抬到远超 5%——两周内每天看一次,接近 20%。先定好样本量,跑到那个数。

为什么我需要的样本量这么大?

因为你要检测的效应很小。可检测的提升减半,需要的样本大约翻两番。如果这个数不可能达到,诚实的结论是这个测试回答不了那个问题,而不是这个数错了。

另一个计算器给出的样本量只有一半

它在做单侧检验,或者用了不同的 α,或者省略了连续性校正。这里是双侧、α = 0.05、带 Fleiss、Levin 和 Paik 校正,并且会打印公式,你能看到哪条假设不同。

可以从这些接进来

接下来

这些工具吃得下当前工具的产出,结果可以直接送过去。