ABテストっていつまでやるの?

ABテストっていつまでやるの?

こんにちは、システム管理部の橋本です。

明けましておめでとうございます。
今年の年末は、休暇が長く、弊社は9日間でした。
年始は、弊社は1月7日から営業を開始して、休みの分の遅れを取り返すように、年末と同様、弊社の運用チームのスタッフは、広告文を変えたり、画像クリエイティブを変えたりと、忙しく改善に励んでおります。

さて、前回の記事では、「ABテストのメリット・デメリット」として、事前準備の重要性を説明させていただきました。

前回の記事は「こちら」

事前準備を行った後、実際にABテストを開始するのですが、よくいただくご質問に、「いつまでABテストをするの?」という質問がございます。

今回は、例を交えながら、上記疑問にお答えする形式ですすめようと思います。

ABテストっていつまでやるの?

ABテストを開始する際、当然改善を目的にテストを開始するのですが、「いつになったら結果がでますか?」いう声が上がります。

早く改善したいのは当然です。

良い結果がでれば、そちらを適用して、悪い結果がでれば、すぐ元に戻したり、次のテストを行う必要があり、PDCAサイクルを早く回すことは、改善を目的としているのであれば、重要な事柄です。

この疑問を解消するためには、統計学に基づいた検証が必要になってきます。

ただし、テストを開始する前の段階では、期間をきっぱりと断言することは非常に難しく、1週間で十分な場合もあれば、2か月以上かかるケースもございます。

テスト結果の判断は慎重にならなくてはいけません。

一度、「良い」と判断した結果が誤っていた場合、誤った判断のまま放置され、機会損失につながります。

テスト結果の判断を間違えさせるものの正体は何でしょうか?

テスト結果の判断を間違えさせるものは「誤差」

ABテストを開始してすぐの頃、十分なサンプル数が足りていないときに判断をすると、最終的な結果とは逆のパターンが、「良」と判断されるケースがあります。

サンプル数が少ない場合、「誤差」の影響が大きいからです。

「誤差」とは、測定や理論的推定などで得られた近似値(測定値)と真の値(と考えられるもの)との差です。

10,000人のアクセスのうち、1人がCVしたら、0.01%ですが、100人のアクセスのうち1人がCVしたら、1%にもなります。

サンプル数が少ないと、1人のCVの影響がテスト結果を大きく左右する事になります。

例えば、LPのABテストの結果が下記のようになっていた場合、

CVRケース1

統計学に基づいて判断したら、「誤差」の影響が大きい状態であり、現段階で結果が出たと判断するのは、時期尚早となります。

「誤差」の影響は、「有意差」で判断する

では、いつまでABテスト実施すればよいのでしょうか?

次のケース2の場合、ABともに、CVRはケース1と同様です。

CVRケース2

ただし、アクセス数、CV数ともに、ケース1の10倍に増加しております

ケース1の場合、1人のCVは0,1%の影響ですが、ケース2の場合は、1人のCVは0.01%の影響となっており、このような場合は、誤差の影響が少なく、統計学的にも信頼すべきテスト結果と判断して差し支えないです。

このような状態を、統計学では、「有意」であると言います。

統計学の有意差とは、「確かに差があり、それは偶然起こったものではないといえるかどうかを検討した結果の差」を意味します。

有意差は、「サンプル数」と「結果の差」で決まる

有意差に影響するのが、サンプル数だけであれば、対象ページのアクセス数を把握しておけば、テスト開始前にある程度、期間の想定がつくと思います。

しかしながら、冒頭で、テスト開始前の段階では、期間が想定しずらいとお伝えしました。

下記のケースを見てみましょう。

CVRケース3

上記の場合、テスト結果には有意差があり、信頼できると判断して大丈夫です。

アクセス数はケース1と同様なのですが、BのCV件数が異なります。
そのため、CVRの差が6.0%に開いており、十分な差がついていると判断できるからです。

上記のように、有意差で判断するときに必要なのは、「サンプル数」と「結果の差」になります。

サンプル数が同じでも、結果が信頼できる場合、信頼できない場合とに分かれる故、テスト開始前の段階では、一概にテスト期間を断言するのが難しくなります。

まとめ

最後までお読みいただきありがとうございました。

このように、ABテストの結果を判断するには、統計学にもとづいた「有意差」で判断するのが望ましいです。

一方、早く改善したいと思うのが、改善担当者の信条であります。

間違った判断をしないよう、「ぐっとこらえて」慎重にテスト結果を判断してもらえればと存じます。

また、サンプル数が少なくても、「結果の差」が大きい場合は、早期にテストを終わらせるほうが良いので、毎日、データを確認する事が重要と言えます。