A/B 테스트 계산기
A/B Test Calculator
두 전환율에 두 비율 z-검정과 카이제곱 검정을 하고 Wilson 신뢰구간을 보여 주며, 목표 효과와 검정력에 필요한 표본 수를 계산합니다.
전환율 두 개를 넣으면 그 차이가 진짜인지 판정합니다. 두 비율 z 검정, 카이제곱 검정, 그리고 각 비율의 윌슨 신뢰구간을 함께 보여 줍니다. 시작 전에 필요한 표본 크기도 계산합니다. 사람들이 도중에 멈추는 실험 대부분은 그 계산을 먼저 했으면 살릴 수 있었던 것들입니다.
무엇을 할까
관측값
A (기존안)
B (실험안)
검정 결과
유의합니다 (p = 0.0074 < 0.05)
A 전환율
20.00%
95% 구간 17.64% – 22.59% (Wilson)
B 전환율
25.00%
95% 구간 22.42% – 27.78% (Wilson)
차이 (B − A)
+5.00%p
구간 1.35%p – 8.65%p
상대 상승
+25.0%
두 비율 z-검정 (양측)
p̄ = 0.225 · SE = 0.01867 · z = 2.677 · p = 0.0074
카이제곱 검정 (자유도 1)
χ² = 7.168 · p = 0.0074
예이츠 보정 χ² = 6.885 · p = 0.0087
사용 방법
두 집단을 넣습니다
집단마다 방문 수와 전환 수를 넣습니다. 비율이 아니라 실제 개수입니다. 불확실성을 담고 있는 것이 그 개수입니다.
p값보다 신뢰구간을 먼저 봅니다
윌슨 구간은 각 집단의 실제 비율이 있을 만한 범위를 알려 줍니다. 두 구간이 많이 겹친다면 p값이 무엇이든 아직 구분할 수 없는 두 비율입니다.
다음 실험은 표본 크기 패널로 계획합니다
기준 전환율과 알아낼 가치가 있는 최소 개선폭을 넣으면 집단당 몇 명이 필요한지 알려 줍니다. 유의해 보일 때까지 돌리는 것은 실험이 아닙니다.
자주 묻는 질문
p < 0.05는 정확히 무슨 뜻인가요?
정말로 차이가 없다면 이만한 격차가 스무 번에 한 번도 안 나온다는 뜻입니다. B가 더 낫다는 확률이 아니고, 얼마나 나은지에 대해서도 아무 말을 하지 않습니다.
유의하게 나오면 바로 멈춰도 되나요?
안 됩니다. 계속 들여다보다가 처음 유의해진 순간에 멈추면 거짓 양성 비율이 5%를 훨씬 넘습니다. 2주 동안 매일 확인하면 20%에 가까워집니다. 표본 크기를 먼저 정하고 거기까지 돌리세요.
필요한 표본 크기가 왜 이렇게 큰가요?
알아내려는 차이가 작기 때문입니다. 감지할 개선폭을 절반으로 줄이면 필요한 표본은 대략 네 배가 됩니다. 그 숫자가 불가능하다면, 숫자가 틀린 것이 아니라 이 실험으로는 그 질문에 답할 수 없다는 뜻입니다.
다른 계산기는 표본 크기를 절반으로 알려 줍니다
단측 검정이거나, α가 다르거나, 연속성 보정을 빼먹은 것입니다. 이 도구는 α = 0.05 양측 검정에 Fleiss·Levin·Paik 보정을 씁니다. 어떤 가정이 다른지 볼 수 있도록 식을 함께 적어 둡니다.
이 도구로 이어지는 것
기초 통계 계산기
Descriptive Statistics
붙여넣은 숫자로 평균·중앙값·최빈값·분산·표준편차·사분위수와 이상치를 계산합니다.
단위 변환
Unit Converter
길이·무게·넓이·부피·온도·속도·압력·데이터 단위를 변환하며 한국 전통 단위도 지원합니다.
진법 변환
Number Base Converter
2·8·10·16진수와 36진법까지 상호 변환하고 비트 단위 표현도 함께 보여 줍니다.
퍼센트 계산기
Percentage Calculator
전체 대비 비율, 증감률, 할인가, 마진, 역산 퍼센트를 한 화면에서 계산합니다.
다음 단계
이 도구의 결과를 그대로 받을 수 있는 도구들입니다.
차트 만들기
Quick Chart
표를 막대·선·영역·원·산점도 차트로 그리고, 눈금과 범례를 갖춰 SVG나 PNG로 내보냅니다.
회귀·상관 분석
Regression & Correlation
짝지어진 데이터에 선형·다항·지수·로그·거듭제곱 모형을 적합해 R²·피어슨 r·스피어만 ρ·잔차를 보여 줍니다.
기초 통계 계산기
Descriptive Statistics
붙여넣은 숫자로 평균·중앙값·최빈값·분산·표준편차·사분위수와 이상치를 계산합니다.
환율 계산기
Currency Converter
유럽중앙은행 일일 기준환율로 30여 개 통화를 유로를 거쳐 환산하고, 은행이 알려 준 환율을 직접 넣어 계산할 수도 있습니다.
날짜 계산기
Date Difference
두 날짜 사이의 일·주·월·연 수를 세며 디데이 표시와 영업일 계산을 지원합니다.
퍼센트 계산기
Percentage Calculator
전체 대비 비율, 증감률, 할인가, 마진, 역산 퍼센트를 한 화면에서 계산합니다.