Reverzereverze

A/Bテストのサンプルサイズ計算ツール

無料計算ツール

目標のリフトを検出するために各バリアントへ必要な訪問者数を、有意水準95%・検出力80%で算出します。即時・非公開。

完全非公開

ブラウザ内で動作 — 数値は端末から送信されません。

テストの条件

%

現在の(コントロールの)コンバージョン率。

%

検出したい最小の「相対」リフト(例:20% = 5%→6%)。

バリアントごとのサンプルサイズ

8,146

有意水準95%・検出力80%で結果を信頼するために、各バリアント(AとB)に必要な訪問者数。

合計サンプルサイズ

16,292

両バリアントの合計(A+B)。

目標コンバージョン率(B)

6.00%

リフト達成のためにバリアントBが到達すべき率。

使い方

1

基準を入力

現在の(コントロールの)コンバージョン率を入力。

2

リフトを設定

検出したい最小の相対的改善を入力。

3

サンプルサイズを確認

バリアントごとに必要な訪問者数がリアルタイム表示。

4

テストを計画

1日の流入数で割り、必要な期間を見積もる。

すべてのテストに、より強いバリアントを

Reverze はA/B用のスクリーンショットのバリアントを生成し、明確に異なるクリエイティブを比較できます。

A/Bテストのサンプルサイズ計算ツールの仕組みは?

A/Bテストのサンプルサイズ計算ツールは、結果を信頼するために各バリアントへ必要な訪問者数を示します。基準コンバージョン率、検出したい最小リフト、そして信頼度と検出力の目標という3つから逆算します。本ツールは慣例的な2つの目標 — 有意水準95%(偽陽性5%)と検出力80%(真の効果を見逃す確率20%)— を固定し、2標本の式をサンプルサイズについて解きます。

検出したい効果が小さく、基準率が低いほど、必要なトラフィックは増えます(多くの場合、劇的に)。だからこそ大胆なクリエイティブ変更は、わずかな微調整より効果を証明しやすいのです。現実的な数値を入力し、バリアントごとのサンプルを1日の流入数で割れば、テストを何日回すべきかがわかります。

よくある質問

A/Bテストのサンプルサイズ計算ツールの仕組みは?
2標本のサンプルサイズの式を解きます。基準コンバージョン率と検出したい最小の相対リフトから、有意水準95%・検出力80%(本ツールの既定値)に達するために各バリアントへ必要な訪問者数を算出します。
最小検出可能効果とは?
最小検出可能効果(MDE)は、テストで捉えたい最小の相対的改善です。例えば20%は5%から6%への変化を意味します。MDEが小さいほど、必要なサンプルは大幅に増えます。
なぜこれほど多くの訪問者が必要なのですか?
有意性は効果量とサンプルサイズの両方に依存します。基準率が低く目標リフトが小さいと、信号に対してノイズが大きくなるため、差が本物だと確信するにはより多くの訪問者が必要です。
A/Bテストはどのくらい回すべきですか?
バリアントごとのサンプルサイズを2倍(両バリアント分)にし、そのページの1日の流入数で割ります。少なくともその期間(理想的には数週間)回し、曜日による変動を取り込んでから判断しましょう。