ABテストを判断するための「有意差」とは

ABテストを判断するための「有意差」とは

こんにちは、システム管理部の橋本です。

節分、バレンタイン、高校受験と行事が多い2月も最終週になり、春の訪れを感じるようになりました。
花粉症の本格シーズンが到来なようで、皆さんは花粉対策大丈夫でしょうか?

さて、前回の記事では、「ABテストっていつまでやるの?」として、ABテストの結果を判断するには、統計学にもとづいた「有意差」で判断するのが望ましいとお伝えさせていただきました。

前回の記事は「こちら」

私自身、ABテストを行うまでは「有意差」、ABテストの結果判断に利用できていませんでした。

ですがご発注いただいたお客様に成果をお返しするために、間違った判断をしないよう、書籍やWebなどで「有意差」について勉強し、現在は的確な判断に利用できていると思っております。
今回は、判断基準となる「有意差」について、もう少し深くお伝えできればと思います。

ABテストを判断するための「有意差」とは

前回の記事でもお伝えしましたが、統計学の有意差とは、「確かに差があり、それは偶然起こったものではないといえるかどうかを検討した結果の差」を意味します。

言い換えると、「有意差」とは、偶然や誤差で生じた差ではない、「意味の有る差」とも言えます。

ABテストの結果、レポート画面で表示されるグラフや数字がどれほど大きく違っていたとしても、「有意差」がついていない状況では、単なる偶然や誤差で生じた意味のない差だと解釈されます。

有意差グラフ

上記のように、右側のグラフではあきらかに差があるように見えますが、実は母集団が10などというような、少ないケースでは、「有意差なし」となります。

ABテストの結果が、単なる「偶然」なのか?それとも「必然」なのか?それを判断する必要があり、この判断は主観的に行えるものではないです。

そのため、統計を使った一定の判断基準を利用します。

誰が見ても明らかな「偶然」

例えば、サッカーのコイントスで、3回とも「表」が出たとします。
この結果を見て、「このコインは、「表」を出す細工をしている!」と結論付けることは、妥当でしょうか。

恐らく、ほとんどの人が「いや、単なる偶然でしょ」と思うはずです。
次にコイントスしたら「裏」が出るかもしれない、という可能性があるからです。

誰が見ても明らかな「必然」

では、コイントスを100万回行ったとします。このとき、「表」が99万9999回出て、1回だけ「裏」が出たとします。
この結果を見て、「このコインは、「表」を出す細工をしている!」と結論付けることは、妥当でしょうか。

恐らく、ほとんどの人がYES!と回答するはずです。次回も、ほぼ確実に「表」が出続けるでしょう。

この場合は「偶然」?「必然」?

それでは、コイントスを100回行ったとします。このとき、「表」が65回出たとします。

コインは表か裏がでる確率が50%なので、100回行えば、50回「表」が出るのが妥当です。
65回も「表」を出すということは、細工をしたコインと言っても良いでしょうか。もしくは、今回たまたま「表」が出やすかっただけで、後日同じことを試したら違う結果になるのでしょうか。

う~ん、迷いますね。
非常に微妙です。

このような微妙な結果の場合、判断ができません。

偶然なのか?必然なのか?皆が納得できる一定の判断基準が必要になります。

このときの判断基準となるのが「有意差」です。

100回コイントスを行ったら「表」が65回出たコインがある。これは他の普通のコインとと比べて、明らかに「表」の出る確率が高いコインなのか、あるいは偶然の結果、誤差の範囲でしかないのか。

これを統計学的な計算によって判定します。この判定によって「必然の結果」で生じたものだ、とされた場合、「有意差あり」、となります。
その結果、このコインは「表」が出やすいコインである、と初めて言えるようになります。

「有意差」はp値で見る

ABテストを行った結果、こちらの施策の方が効果が高いというには、再現性が必要になります。

そのため、常に「有意差」の有無が必要になります。

冒頭で提示したグラフですが、母集団が一方は非常に少ないので、「有意差はない」と判断しました。

「有意差」があるかどうかと、グラフの見た目や数字の大小の差は関係ありません。

統計学的な計算の結果、「有意差」があると判定されるかどうか、が問題です。

「有意差」は、主に統計的な処理をした結果の「p値」によって設定します。

多くの場合、p<0.05の状態である場合の差は、「有意差あり」と判断されます。

まとめ

最後までお読みいただきありがとうございました。

今回、「有意差」について実例を挙げて進めてきました。

この結果は、「偶然」なのか「必然」なのか、判断するための「有意差」について、最後の章で新しく「p値」というものが出てきました。

さらには、p<0.05の状態である場合の差は、「有意差あり」と記述しました。

次回では、「有意差あり」と判断する際に用いる「p値」について、解説しようと思います