A/Bテスト計算機
A/B Test Calculator
2つのコンバージョン率に2標本z検定とカイ二乗検定をかけWilson信頼区間を示し、目標効果と検出力に必要なサンプルサイズも計算します。
2つのコンバージョン率を入れると、その差が本物かどうかの判定が出ます。2標本のz検定、カイ二乗検定、そして各率のWilson信頼区間です。始める前に必要なサンプルサイズも計算します。人が途中でやめてしまったテストの大半は、この計算があれば助かったはずのものです。
何をするか
観測値
A（対照）
B（変更案）
検定結果
有意です（p = 0.0074 < 0.05）
A のコンバージョン率
20.00%
95% 区間 17.64% – 22.59%（Wilson）
B のコンバージョン率
25.00%
95% 区間 22.42% – 27.78%（Wilson）
差（B − A）
+5.00% ポイント
区間 1.35% – 8.65%ポイント
相対的な伸び
+25.0%
二標本比率の z 検定（両側）
p̄ = 0.225 · SE = 0.01867 · z = 2.677 · p = 0.0074
カイ二乗検定（自由度 1）
χ² = 7.168 · p = 0.0074
イェーツ補正 χ² = 6.885 · p = 0.0087
使い方
2つのグループを入れます
それぞれの訪問者数とコンバージョン数です。率ではなく実数です。不確かさを運んでいるのは実数のほうだからです。
p値より先に信頼区間を読みます
Wilsonの区間は、それぞれの真の率がどのあたりにありそうかを示します。大きく重なる2つの区間は、p値が何と言おうと、まだ見分けられない2つの率です。
サンプルサイズのパネルで次のテストを設計します
ベースラインの率と、検出する価値のある最小の改善幅を入れると、グループごとに必要な訪問者数を教えます。有意に見えるまで回し続けるのはテストではありません。
よくある質問
p < 0.05は実際には何を意味しますか。
本当に差がなかったとしたら、これ以上の開きが出るのは20回に1回未満だ、ということです。Bのほうが優れている確率ではありませんし、どれだけ優れているかについては何も言いません。
有意になった時点でやめてよいですか。
いけません。何度も覗いて最初に有意になった瞬間に止めると、偽陽性率は5%をはるかに超えて膨らみます。2週間にわたって毎日確かめれば20%近くになります。先にサンプルサイズを決め、そこまで回してください。
必要なサンプルサイズが大きすぎます。
検出したいと指定した効果が小さいからです。検出したい改善幅を半分にすると、必要な数はおよそ4倍になります。その数が現実的でないなら、正直な結論は、数が間違っているのではなく、このテストではその問いに答えられないということです。
別の計算機ではサンプルサイズが半分になります。
その計算機は片側検定をしているか、別のαを使っているか、連続性の補正を省いています。こちらはα = 0.05の両側検定で、Fleiss・Levin・Paikの補正を入れています。式を表示するので、どの前提が違うのかを確かめられます。
ここから渡せます
基本統計量の計算
Descriptive Statistics
貼り付けた数値から平均・中央値・最頻値・分散・標準偏差・四分位数・外れ値を求めます。
単位換算
Unit Converter
長さ・重さ・面積・体積・温度・速度・圧力・データ量を換算し、韓国の伝統単位にも対応します。
進数変換
Number Base Converter
2進数・8進数・10進数・16進数から36進法までを相互に変換し、ビット単位の表示も並べます。
パーセント計算機
Percentage Calculator
割合・増減率・割引後の価格・利益率・元の価格の逆算を一画面で計算します。
次の一手
このツールが出したものをそのまま受け取れる道具です。
かんたんグラフ作成
Quick Chart
表から棒・折れ線・面・円・散布図を描き、きりのよい目盛りと凡例を付けてSVGかPNGで書き出します。
回帰・相関分析
Regression & Correlation
対になったデータに線形・多項式・指数・対数・べき乗の当てはめを行い、R²・ピアソンr・スピアマンρ・残差を示します。
基本統計量の計算
Descriptive Statistics
貼り付けた数値から平均・中央値・最頻値・分散・標準偏差・四分位数・外れ値を求めます。
為替レート換算
Currency Converter
欧州中央銀行の日次基準レートでユーロを経由して約30通貨を換算し、銀行に言われたレートを自分で入れることもできます。
日数計算
Date Difference
2つの日付のあいだの日数・週数・月数・年数を数え、カウントダウン表示と営業日だけの計算にも切り替えられます。
パーセント計算機
Percentage Calculator
割合・増減率・割引後の価格・利益率・元の価格の逆算を一画面で計算します。