ABテストとは｜やり方の手順と、何人来れば差が分かるかの目安

ABテスト（A/B テスト）とは、ページやボタンの文などを 2 つの案にして、来た人を同じ期間に半分ずつに分けて見せ、どちらの案の方が申し込みや購入につながるかを数で比べる方法です。スプリットテストと呼ばれることもあります。

ABテストの解説の多くは、「定義・メリット・手順・注意点」を並べたところで終わります。けれども、実際に始めると最初に困るのは、「何人来れば、どちらが勝ったと言えるのか」です。ここが分からないまま始めると、たまたまの差で決めてしまったり、いつまでも結果が出なかったりします。

この記事では、ABテストの意味と前後比較との違い、比べやすいもの・比べにくいもの、やり方の 6 つの手順、要る訪問数の目安と早見表、判定の読み方とやりがちな失敗、Google 検索で気をつけること、専用のツールが要る場合と要らない場合の順に書きます。全部を読む時間が無いときは、次の表から自分に近い所を選んでください。

ABテストとは、2 つの案を同じ期間に比べる方法

ABテストは、今の案（A）と、1 か所だけ変えた案（B）を、同じ期間に来た人へ振り分けて見せ、ゴールまで進んだ人の割合を比べる方法です。

ゴールとは、その LP やページでしてほしい行動のことです。問い合わせのフォームを送る、資料を請求する、ボタンを押す、などです。来た人のうちゴールまで進んだ人の割合を、CVR（コンバージョン率）と呼びます。ABテストは、A と B のどちらの CVR が高いかを確かめる作業だと言い換えられます。

大事なのは「同じ期間に」という所です。月曜に A、火曜に B を見せると、曜日の違いが結果に混ざります。同じ期間に、来た人をランダムに分ければ、季節、曜日、広告の出し方、ニュースなどの影響が A にも B にも同じようにかかります。だから、出た差は「案の違い」によるものだと言いやすくなります。

ランダムに分けるとは、来た人の性質で分けないということです。たとえば「スマホの人は A、PC の人は B」と分けると、出た差が案の違いなのか、端末の違いなのかが分からなくなります。ABテストのツールは、来た人ごとにくじを引くように案を決め、同じ人には次も同じ案を見せます。

前後比較・出し分けとの違い

ABテストと似た言葉に、前後比較と出し分けがあります。どれも「変えたら良くなったか」に関わる言葉ですが、やっていることが違います。

前後比較は、少ない訪問でも使えますが、直した時期に広告や季節が変わると、その影響が混ざります。出し分けは、相手に合わせて見せる物を決める方法で、どちらが良いかを比べる方法ではありません。この 3 つの使い分けと、前後比較の具体的な進め方は、LPO とはの「変えたあとの確かめ方」に書きました。この記事では、ABテストそのもののやり方に絞ります。

多変量テストとの違い

多変量テストは、見出しを 2 通り、写真を 2 通り、のように複数の場所を同時に変え、組み合わせ（この場合は 4 通り）ごとに比べる方法です。どの組み合わせが良いかまで分かりますが、組み合わせの数だけ人を分けるので、ABテストよりずっと多くの訪問が要ります。月の訪問が数万を超えるサイトでなければ、まずは 1 か所ずつの ABテストを積み重ねる方が現実的です。

比べやすいもの、比べにくいもの

ABテストで比べやすいのは、1 か所だけを変えられて、見た人がすぐに反応するものです。反対に、変えると説明やほかの所まで変わってしまうものは、ABテストに向きません。

料金をABテストにかけたくなることはありますが、同じ時期に同じ物を違う値段で見せると、後から知った人の信頼を失います。料金を見直すときは、期間を区切って前後で比べる方が安全です。

1 回のテストで変えるのは 1 か所

ABテストで最も守りたいのは、1 回のテストで変えるのを 1 か所にすることです。見出しとボタンの文を同時に変えて B が勝っても、見出しが効いたのか、ボタンが効いたのか分かりません。次に何を直せばよいかも分からなくなります。

1 か所だけ変えた例を、場所ごとに 3 つ挙げます。どれも、変える前と後で「何を確かめたいか」が 1 文で言えることがポイントです。

• ボタンの文言: A「お問い合わせ」→ B「無料で相談する（30 分）」。確かめたいのは、押したあとに何が起きるか（無料・時間）が分かると押す人が増えるか
• 見出し: A「確定申告のご相談はお任せください」→ B「確定申告を、書類を送るだけで終える」。確かめたいのは、読む人の手間が減ることを先に書くと読み進める人が増えるか
• ポップアップ: A「資料をお送りします」→ B「料金の早見表をお送りします」。確かめたいのは、資料の中身を具体的に言うと請求が増えるか

ボタンの文言そのものの考え方や、場面ごとの例は CTA とはにまとめました。ABテストでは、そこで考えた案を、本当に良いかどうか数で確かめる役目を受け持ちます。

ABテストのやり方：6 つの手順

ABテストは、始める前に決めることが大半です。始めてから決めると、都合の良い所で止めたくなるからです。次の 6 つを、この順番で進めます。

1. 見る数を 1 つ決める: 申し込みの送信、ボタンのクリックなど、勝ち負けを決める数を 1 つだけ選ぶ
2. 仮説を 1 文で書く: 「〇〇を△△に変えると、□□という理由で、送信が増える」と書く
3. 変える所を 1 か所だけ決めて、B 案を作る: 仮説の〇〇だけを変える
4. 振り分けの割合を決める: ふつうは A と B を半分ずつにする
5. 期間と、要る数を先に決める: 今の CVR と見たい差から、1 つの案あたりに要る訪問を出し、何週間かかるかを決める
6. 決めた数がたまったら判定し、記録する: 勝ち・負け・差なしのどれでも、結果と分かったことを書き残す

1. 見る数を 1 つ決める

見る数は、そのページのゴールに近いものにします。ボタンのクリックは数が多く早く結果が出ますが、押した人がフォームで帰ってしまえば意味がありません。できれば、フォームの送信のように、ゴールそのものを数えます。送信の数が少なすぎて判定まで時間がかかりすぎるときに、クリックで代わりにする、という順で考えます。

見る数を 2 つも 3 つも決めると、どれかで差が出たときに「勝った」と言いたくなります。数をたくさん見るほど、たまたまの差に当たりやすくなるので、勝ち負けを決める数は 1 つにします。ほかの数は、悪くなっていないかを見るための参考にとどめます。

2. 仮説を 1 文で書く

仮説は、「何を」「どう変えると」「なぜ」「何が増えるか」の 4 つを 1 文に入れます。

• 良い例: 「ボタンの文言を『お問い合わせ』から『無料で相談する（30 分）』に変えると、費用と時間が分かって押すときの不安が減るので、送信が増える」
• 良くない例: 「ボタンを目立たせたら増えるはず」

理由まで書いておくと、負けたときにも学びが残ります。上の例で負けたなら、「不安は費用と時間ではなかった」と分かり、次は別の不安（しつこく営業されないか、など）を試せます。仮説の材料は、ページのどこで人が減っているか、問い合わせでよく聞かれることは何か、から探します。減っている所の見つけ方は LPO とはの「まず測る」に書きました。

3. 変える所を 1 か所だけ決めて、B 案を作る

B 案は、仮説で書いた所だけを変えます。B 案を作るついでに、誤字を直したり、写真を差し替えたりしないことが大切です。直したい所があるなら、A にも同じ直しを入れてからテストを始めます。

4. 振り分けの割合を決める

ふつうは A と B に半分ずつ振り分けます。半分ずつがいちばん早く数がたまります。B が悪かったときの損を小さくしたいからといって、B を 10% だけにすると、B の数がたまるまで何倍も時間がかかります。

始めたあとは、実際に振り分けられた人数が、決めた割合に近いかを確かめます。半分ずつにしたのに、A が 6 割、B が 4 割のように大きくずれているなら、振り分けの仕組みか、数え方に問題があるかもしれません。そのまま判定せず、原因を確かめます。

5. 期間と、要る数を先に決める

ここがいちばん飛ばされやすく、いちばん大事な手順です。今の CVR と、どれくらいの差を見つけたいかから、1 つの案あたりに要る訪問を出し、自分のページの訪問数で何週間かかるかを先に決めます。計算の目安は、次の章の早見表で引けます。

期間は、少なくとも 1 週間の倍数にします。平日と土日で来る人の様子が違うことが多いので、「月曜から木曜まで」のように曜日が偏ると、結果も偏ります。

6. 決めた数がたまったら判定し、記録する

決めた数がたまったら、勝ち・負け・差なしを判定します。勝ったら B を正式な案にし、負けか差なしなら A のままにします。どちらの場合も、次の 5 つを 1 枚のメモに残しておくと、同じテストを繰り返さずに済みます。

• 期間と、それぞれの案の訪問数・ゴールの数
• 仮説の 1 文
• 変えた所（A と B の文や画面）
• 結果（勝ち・負け・差なし）と、差の大きさ
• 分かったことと、次に試すこと

何人来れば差が分かるか

ABテストに要る訪問は、今の CVR が低いほど、また見つけたい差が小さいほど多くなります。目安を先に知っておけば、自分のページでABテストができるか、始める前に判断できます。

要る訪問数の早見表

次の表は、統計でよく使う条件（有意水準 5%、検出力 80%、両側の検定）で、1 つの案あたりに要る訪問を計算した目安です。有意水準 5% は「本当は差が無いのに、たまたまの差を勝ちと見てしまう」ことを 5% までに抑えるという意味、検出力 80% は「本当にある差を、10 回のうち 8 回は見つけられる」という意味です。

表の数は、1 つの案あたりです。A と B の 2 つで比べるなら、全体ではこの 2 倍の訪問が要ります。「2 割増し」は、今の CVR に対して 2 割増えることで、3% なら 3.6% になることを指します。

表から分かることは 2 つあります。1 つは、今の CVR が低いページほど、多くの訪問が要ることです。CVR が 1% の LP で 2 割の差を見つけるには、1 つの案だけで 4 万人を超える訪問が要ります。もう 1 つは、小さな差ほど見つけにくいことです。同じ CVR 3% でも、2 倍の差なら約 750 で足りるのに、2 割の差には約 1 万 4,000 が要ります。

計算は、Optimizely のサンプルサイズの計算機のような無料の計算機でもできます。今の CVR（Baseline conversion rate）と、見つけたい差（Minimum Detectable Effect）を入れると、1 つの案あたりの数が出ます。計算機によって計算のしかたが少し違うので、出る数は上の表と同じにはなりませんが、桁の感覚はつかめます。

自分のページで何週間かかるかを出す

要る訪問が分かったら、自分のページの訪問数で割ると、何週間かかるかが出ます。架空の例で計算してみます。

• 問い合わせの LP の月の訪問は 2,000、今の CVR は 3%
• ボタンの文言を変えて、3 割増し（3% → 3.9%）を見つけたい
• 早見表から、1 つの案あたり約 6,500、2 つの案で約 1 万 3,000 の訪問が要る
• 月 2,000 の訪問なら、約 6 か月半かかる

半年以上も同じテストを続けると、その間に季節や広告が変わり、ページのほかの所も直したくなります。この LP では、ボタンの文言のABテストは現実的ではありません。

同じ LP で、もし月の訪問が 2 万あれば、約 3 週間で済む計算です。この場合、期間を 1 週間の倍数にそろえて 4 週間とし、4 週間たったら判定する、と先に決めて始めます。

訪問が少ないときに代わりにすること

月の訪問が数千に届かないページでは、ABテストで小さな差を確かめるのは難しいのが実際のところです。その場合は、次の方法に切り替えます。

• 前後比較にする: 直した日を書き残し、直す前と後の同じ長さの期間を比べる。季節や広告の影響は混ざるが、手間が少ない
• 大きな差を狙う: 2 倍の差なら要る数はぐっと減る。ボタンの文言のような小さな直しより、申し込みのハードルを下げる（たとえば「見積もり依頼」を「料金表の受け取り」に変える）ような大きな変更を比べる
• ゴールに近い所で比べる: ページ全体ではなく、来た人の多くが見る所（ポップアップや、最初の画面のボタン）で比べる
• 声を聞く: 問い合わせてくれた人や、営業の場で、「申し込む前に迷ったこと」を聞く。数が少ないうちは、率より声の方が直す手がかりになる

前後比較の具体的な進め方と、記録のしかたは LPO とはの「訪問が少ないうちは、前後比較でよい」に例を載せました。フォームの中で人が減っているなら、ページの文を比べる前に、EFO の記事の直し方から手をつける方が早く効きます。

判定の読み方と、やりがちな失敗

決めた数がたまったら、A と B の CVR の差が「たまたま」で説明できるかどうかを確かめます。ABテストのツールの多くは、これを「有意差がある・ない」「勝ち・負け」「信頼度 95%」のような言葉で示します。

「有意差がある」の意味

有意差があるとは、「本当は差が無いのに、これだけの差がたまたま出る見込みは小さい」という意味です。有意水準 5% で有意差があるなら、たまたまでこれだけの差が出るのは 5% 未満だ、ということになります。

反対に、有意差が無いことは「A と B は同じ」という意味ではありません。「この数では、差があるとは言えない」という意味です。差が小さすぎて、たまった数では見分けられなかった可能性があります。差なしの結果が出たら、「この直しでは、少なくとも大きな差は出ない」と受け止め、次の仮説に移ります。

差の大きさも合わせて見ます。有意差があっても、CVR が 3.0% から 3.1% になっただけなら、手間に見合うかは別の話です。逆に、差が大きいのに有意差が無いなら、数が足りていないだけかもしれません。

架空の例で、結果を読む

前の章の例（今の CVR 3%、3 割増しを見つけたい、1 つの案あたり約 6,500）で、結果の読み方を 3 つの場合に分けて見ます。数字は説明のための架空の例で、判定は有意水準 5%・両側の検定で計算しました。

1 つ目の途中の時点では、B は A の 1.5 倍に見えます。けれども、1,000 訪問ずつでは、この程度の差はたまたまでも出るので、判定はまだ「差があるとは言えない」です。ここで B に切り替えると、本当は差が無かったときに、効かない直しを正式な案にしてしまいます。

2 つ目は、決めた数がたまったうえで差が残った場合で、B の勝ちと言えます。3 つ目は、B の方が少し高いものの、差が小さく、この数では見分けられなかった場合です。3.4% が本当の値かもしれませんが、「3 割増し」を見つけるための数しか集めていないので、それより小さな差は見逃すことがある、と受け止めます。差なしだったからといって B が悪いわけでもないので、どちらを残すかは、手間や読みやすさで決めてかまいません。

やりがちな失敗

ABテストの失敗の多くは、計算のしかたではなく、進め方で起きます。

いちばん多いのは、最初の失敗です。始めて 3 日目に B が大きく勝っていると、すぐに切り替えたくなります。けれども、数が少ないうちは CVR が大きく上下するのがふつうで、続けると差が縮むこともよくあります。結果を途中で見るのはかまいませんが、決めた数がたまるまでは判定しない、と決めておきます。

Google 検索で気をつけること

ABテストをするとき、Google は「検索での扱いに悪い影響が出ないようにする方法」を公式に案内しています（Google 検索セントラル「Minimize A/B testing impact in Google Search」。2026 年 11 月 8 日の時点で英語のページです）。要点は次の 4 つです。

Google の案内は、Google のロボットはふつう Cookie を使わないので、Cookie で案を決める仕組みでは、ロボットには Cookie を受け付けないブラウザで見える版だけが見える、とも書いています。サーバーの処理でも robots.txt でも、ロボットと人で中身を分ければクローキングとして扱われるので、ロボットだけを特別扱いする仕組みを作らないことが大切です。

同じ URL のまま、ページの一部の文だけをツールで差し替える方法なら、別の URL を作らないので、rel="canonical" や 302 の心配は要りません。それでも、テストを終えたら勝った案を本番の文にして、差し替えの仕組みは外しておきます。差し替える仕組みが残っていると、表示が遅くなったり、替わる前の文が一瞬見えたりすることがあります。

専用のツールが要る場合、要らない場合

ABテストには、専用のツールを使うことが多いです。ツールは、来た人の振り分け、同じ人に同じ案を見せる仕組み、数え方、判定までをまとめて受け持ちます。手で作るより間違いが少なくなります。

ツールが要るのは、主に次の場合です。

• 月の訪問が多く、ページの見出しや段を比べたい: 早見表で数週間のうちに数がたまる
• 今のページを作り直せないが、文を比べたい: タグを入れて文を差し替えるツールなら、作り直さずに比べられる
• ページそのものを 2 つの URL で比べたい: 振り分けと 302、rel="canonical" をツールに任せられる

反対に、次の場合は、専用のツールを入れなくても始められます。

• 月の訪問がまだ少ない: ABテストで結果が出るまで時間がかかりすぎるので、前後比較から始める
• 直す所がまだ決まっていない: 先に、ページのどこで人が減っているかを見る
• 使っている LP のツールに、ポップアップなど一部の A/B が入っている: まずはその範囲で比べる

ツールを選ぶときは、ページそのものを比べられるのか、ポップアップなどの一部だけを比べるのか、を先に確かめます。LP を作るツールごとに、A/B テストができる範囲は違います。主な LP 作成ツールの A/B テストの有無は、LP 作成ツール比較で、各社の公式ページを確かめて比べました。

Nobori でできること・できないこと

Nobori は、LP とフォーム、サイトを作るツールです。ABテストに関わる機能のうち、Nobori でできることは次のとおりです。

Nobori のポップアップの A/B は、A 案と B 案を直接比べるのではなく、それぞれの案を「出さない人」と比べて判定します。判定は、両側 5% の検定で、案と出さない人のそれぞれに、出す条件がそろった訪問が 200 たまってから出ます。たとえば、A 案 45%・B 案 45%・出さない人 10% に分けると、ポップアップそのものに効果があるかと、A と B のどちらの差が大きいかを、同じ期間に読めます。A と B のどちらが良いかは、2 つの案の「出さない人との差」を見比べて読みます。

出さない人の割合を小さくすると、出さない人に 200 の訪問がたまるまで時間がかかります。この記事の早見表のとおり、小さな差を見つけるには 200 よりずっと多くの数が要ることも多いので、判定が出ても、差の大きさと数の両方を見てください。

ほかに、次の決まりがあります。同じブラウザには同じ案を出します。公開中に配信率を変えると、効果は公開したときから数え直します。出さない人が 0% のときは判定しません。

一方で、次のことはできません。

• ページそのものの A/B テスト: LP の見出しや段を 2 つの案にして、来た人を振り分けて比べる機能はありません。A/B で比べられるのは、ポップアップの案だけです
• 多変量テスト: 複数の場所の組み合わせを同時に比べる機能はありません

ページの見出しや段は、1 か所を直して公開し、前と同じくらいの訪問がたまったら「版で比べる」で前の版と比べる、前後比較で確かめます。Nobori は公開するたびに新しい版として数え直すので、変えた日を書き残す手間がかかりません。下がっていたら、公開の履歴から前の版に戻せます。

ポップアップの作り方と A/B の画面は、ポップアップとメールの紹介で見られます。プランごとの違いは料金のページで確かめられます。Free はカードの登録が要らず、LP を作って公開し、節ごとの到達率とクリックを見るところまで試せます。

よくある質問

ABテストとA/Bテストは、違うものですか

同じものです。表記が違うだけで、「ABテスト」「A/Bテスト」「A/B テスト」のどれも、2 つの案を同じ期間に比べる方法を指します。スプリットテストと呼ばれることもあります。

ABテストの期間は、どれくらいが目安ですか

期間は、要る訪問がたまるまでです。早見表で 1 つの案あたりの数を出し、自分のページの訪問数で割って決めます。曜日の偏りを避けるため、少なくとも 1 週間、できれば 2 週間以上の、1 週間の倍数にします。

1 日に何人来れば、ABテストができますか

今の CVR と見つけたい差で変わります。CVR 3% のページで 3 割の差を見つけるなら、2 つの案で約 1 万 3,000 の訪問が要るので、1 日 500 人なら約 4 週間です。1 日 100 人に届かないなら、まずは前後比較から始めるのが現実的です。

ボタンの色は、ABテストで比べるべきですか

色だけを変えても、差は小さいことが多く、見つけるには多くの訪問が要ります。先に、ボタンの文言や、ボタンの近くの一言のように、押したあとに何が起きるかを伝える所を比べる方が、差が出やすいです。

ABテストで、検索の順位は下がりますか

Google の案内に沿えば、ふつうは心配いりません。Google のロボットにだけ違う中身を見せない、別の URL には rel="canonical" を付ける、移すときは 302 を使う、終わったら片づける、の 4 つを守ります。

勝った案は、いつまで使ってよいですか

ずっと勝ち続けるとは限りません。季節や来る人が変われば、結果も変わります。半年から 1 年たったら、前後比較で数が下がっていないかを確かめ、下がっていれば次のテストの材料にします。

始める前に、1 回確かめること

ABテストを始める前に、次の 6 つを確かめておくと、途中で迷いません。

• 勝ち負けを決める数が 1 つに決まっている
• 仮説を「何を、どう変えると、なぜ、何が増えるか」の 1 文で書いた
• B 案で変えたのは 1 か所だけ
• 1 つの案あたりに要る訪問を出し、何週間かかるかを決めた（1 週間の倍数）
• 期間中は、広告の予算や出す先、ページのほかの所を変えない
• 別の URL で比べるなら、rel="canonical" と 302 の設定を確かめた

参考にした公式ページ（2026 年 11 月 8 日に確認）

• Google 検索セントラル: Minimize A/B testing impact in Google Search
• Optimizely: Sample size calculator
• Nobori: ポップアップとメール・料金