A/B 测试计算器
A/B Test Calculator
对两个转化率做双比例 z 检验和卡方检验,给出 Wilson 置信区间,并按目标效应和检验力算出需要多大样本。
输入两个转化率,得到差异是否真实的结论:双比例 z 检验、卡方检验,以及每个转化率的 Wilson 置信区间。它还会计算你开始之前需要的样本量,这个计算本可以挽救大多数被提前停掉的测试。
要做什么
观测值
A(对照组)
B(实验组)
检验结果
显著(p = 0.0074 < 0.05)
A 的转化率
20.00%
95% 区间 17.64% – 22.59%(Wilson)
B 的转化率
25.00%
95% 区间 22.42% – 27.78%(Wilson)
差值(B − A)
+5.00% 个百分点
区间 1.35% – 8.65%个百分点
相对提升
+25.0%
两比例 z 检验(双侧)
p̄ = 0.225 · SE = 0.01867 · z = 2.677 · p = 0.0074
卡方检验(自由度 1)
χ² = 7.168 · p = 0.0074
耶茨校正 χ² = 6.885 · p = 0.0087
怎么用
填入两组
每组的访客数和转化数。原始计数,不是比率——不确定性是由计数承载的。
先读区间,再读 p 值
Wilson 区间说明每个真实转化率合理地落在哪里。两个大幅重叠的区间就是两个你还分不开的转化率,不管 p 值说什么。
用样本量面板规划下一次测试
给它你的基准转化率和值得检测的最小提升,它告诉你每组需要多少访客。跑到看起来显著为止,不是测试。
常见问题
p < 0.05 到底是什么意思?
意思是:如果确实没有差异,这么大或更大的差距出现的概率不到二十分之一。它不是 B 更好的概率,也不说明好多少。
一显著就能停吗?
不能。反复偷看并在第一个显著的时刻停下,会把假阳性率抬到远超 5%——两周内每天看一次,接近 20%。先定好样本量,跑到那个数。
为什么我需要的样本量这么大?
因为你要检测的效应很小。可检测的提升减半,需要的样本大约翻两番。如果这个数不可能达到,诚实的结论是这个测试回答不了那个问题,而不是这个数错了。
另一个计算器给出的样本量只有一半
它在做单侧检验,或者用了不同的 α,或者省略了连续性校正。这里是双侧、α = 0.05、带 Fleiss、Levin 和 Paik 校正,并且会打印公式,你能看到哪条假设不同。
可以从这些接进来
接下来
这些工具吃得下当前工具的产出,结果可以直接送过去。
快速作图
Quick Chart
把表格画成柱状图、折线图、面积图、饼图或散点图,坐标轴取整、带图例,导出 SVG 或 PNG。
回归与相关分析
Regression & Correlation
给成对数据拟合线性、多项式、指数、对数或幂函数模型,报出 R²、皮尔逊 r、斯皮尔曼 ρ 和残差。
描述统计计算器
Descriptive Statistics
从粘贴进来的一串数字算出平均数、中位数、众数、方差、标准差、四分位数和离群值。
汇率换算
Currency Converter
按欧洲央行每日参考汇率经欧元交叉换算三十来种货币,也可以直接填入你自己拿到的那个汇率。
日期天数计算
Date Difference
数出两个日期之间的天、周、月、年数,带倒数日显示和只算工作日的选项。
百分比计算器
Percentage Calculator
把占比、增减率、折后价、加价率和反推原价放在同一个页面上算。