A/B 테스트 유의성 계산기
무료 계산기각 변형의 방문자수와 전환수를 입력하면 통계적 신뢰도, 상승률, 전환율이 즉시, 비공개로 표시됩니다.
100% 비공개
브라우저에서 실행 — 수치가 기기를 떠나지 않습니다.
테스트 데이터
대조군(A)을 본 사람 수.
그중 전환한 사람 수.
실험군(B)을 본 사람 수.
그중 전환한 사람 수.
통계적 신뢰도
95.8%
차이가 우연이 아닌 실제일 확률(양측). 승자 판정 기준은 95%이며, 90% 미만이면 테스트를 계속하세요.
상대적 상승률 (B 대 A)
30.0%
B가 A 대비 전환율을 얼마나 바꿨는지.
전환율 A
5.00%
대조군 전환율.
전환율 B
6.50%
실험군 전환율.
사용 방법
변형 A 입력
A의 방문자수와 전환수를 입력하세요.
변형 B 입력
B의 방문자수와 전환수를 입력하세요.
신뢰도 확인
양측 통계적 신뢰도가 실시간으로 갱신됩니다.
결정
95% 이상이면 승자를 정할 수 있고, 미만이면 테스트를 계속하세요.
진짜 성과를 내는 스크린샷을 테스트하세요
Reverze는 A/B용 스크린샷 변형을 생성해 언제나 더 강한 버전을 테스트할 수 있게 합니다.
A/B 테스트 유의성 계산기는 어떻게 작동하나요?
A/B 테스트 유의성 계산기는 두 변형의 차이가 실제인지, 단순한 무작위 노이즈인지 알려줍니다. 전환 데이터에 두 비율의 z-검정을 적용해 각 전환율을 비교하고, 통합 비율에서 표준오차를 추정한 뒤 z-값을 신뢰 수준으로 변환합니다. 신뢰도가 높을수록 그 차이가 우연일 가능성은 낮아집니다.
업계 관행은 승자를 선언하기 전에 95% 신뢰도(유의수준 5%)를 요구합니다. 즉 결과가 우연일 확률이 20분의 1뿐이라는 뜻입니다. 신뢰도가 90% 미만이면 결론을 내릴 수 없으니 데이터를 더 모으거나 기간을 늘리세요. 표본이 매우 작으면 거의 유의성에 도달하지 못합니다. 그래서 Reverze가 재구성하는 스크린샷처럼 과감한 크리에이티브 변경이 사소한 조정보다 효과를 입증하기 쉽습니다.