「p値」とは？そのA/Bテストの結果は偶然ですか必然ですか？

こんにちは、システム管理部の橋本です。

春！別れと出会いの季節がやってきましたね！

弊社でも、4月1日からの新入社員の出社を待ち望みながら、先輩社員の方々は、歓迎や教育の準備で、普段とは違う忙しさに追われております！

さて、前回の記事では、A/Bテストの結果が「有意差あり」と判断できれば、偶然の結果ではなく、再現性が高いとお伝えしました。

また、「有意差あり」と判断するために、統計的な処理をした結果の「p値」を利用するという事に軽くふれて、記事を終えております。

前回の記事は「こちら」

例えば、LPのA/Bテストの結果で明確なCV率の差があっても、偶然であれば、結果を採用する事で機会損失が生まれる可能性があります。

サイト運営者の方であれば、機会損失はなるべく避けたいですよね？

今回は、結果の偶然性を判断するために利用する「p値」について、なるべくわかりやすくお伝えできればと思います。

偶然ではなく、必然である事の証明

高校の数学でも教わる背理法という証明の手法があります。

背理法とは、とてもシンプルで、

という流れで証明を行う手法のことです。

例えば、「√2が無理数である事を証明せよ」という場合は、「√2が有理数であると仮定する」ことから始まり、計算式を解くうえで矛盾が発生するので、最初の仮定が間違っていて、「√2が無理数である」と証明できるということです。

統計学の手法で、A/Bテストの結果に「有意差」が存在する「必然の結果」であるという証明も、背理法によく似た手法になります。

実際にLPのA/Bテストを行い、下記の結果が計測されたとします。

AとBのパターンを比較するときに考えられる仮説は、下記の２つになります。

背理法と同様に、一方の仮説を否定（≒偶然の結果）することができれば、もう一方の仮説が正しい（≒必然の結果）と言えます。

この「一方の仮説を否定する」という考え方が、重要になります。

帰無仮説と対立仮説

では、上記の仮説１）２）のうち、否定しやすい仮説はどちらになるでしょうか？

答えは、
１）２つのパターンに差はない

です。

「２つのパターンに差はない」という事は、今回のA/Bテストであれば、「AパターンのCVR = BパターンのCVR」 という結果が出た時のみ正しいということなり、それ以外の結果の場合は、１）の仮説は簡単に否定できます。

２）は、「２つのパターンに差がある」という仮説なので、Aパターン、Bパターンが取りうるCVRの組み合わせは無限にあり、簡単に仮説を否定する事はできません。

統計学では、上記２つの仮説が下記の通り定義されております。

「帰無仮説を否定して、対立仮説が正しい事を証明する」のが、A/Bテスト結果を適用するかどうかを判断する基準（偶然ではなく必然）になります。

「p値」とは？

では、「p値」とは何でしょうか？

引用：https://ja.wikipedia.org/wiki/%E6%9C%89%E6%84%8F

上記の通り、帰無仮説は「２つのパターンに差はない」となりますので、今回のA/Bテスト結果で言うと、
「２つのパターンに差はないと仮定した場合、今回のA/Bテストの結果である15%以上のCVRの差が起こる確率は、1%未満（p<0.01）ですよ。こんなに低い確率なら、今回の結果は偶然ではなく必然ととらえて、すぐにA/Bテストを止めて、BパターンをLPに反映したほうが良いですよ。」
と結論するときの、「1%未満」の部分が「p値」になります。

このように、「p値」とは、今回のA/Bテストの結果が起こる確率を示します。

上記のように、1%未満の確率で起こったのであれば、偶然の可能性は低く、帰無仮説「２つのパターンに差はない」は否定して、対立仮説「２つのパターンに差がある」が正しいとみなし、BパターンをLPに反映したほうが良いとなります。

一般的には、p<0.05の状態で「有意差有り」と判断されますが、5%は偶然の可能性があるので、厳密に判断したければ、「p値」がより小さくなるまでA/Bテストを継続するということもございます。

誤解しやすい「p値」

上記の例では、A/Bテスト結果によるCVRの差を、必然（=２つのA/Bテストのパターンに差はある）と結論づけております。

ただし、場合によっては、
「２つのパターンに差はないと仮定した場合、今回のA/Bテストの結果である15%以上のCVRの差が起こる確率は、40%以上（p>0.4）です。今回の結果は偶然の可能性が高いので、もう少しこのままA/Bテストを続けましょう」と結論づける場合も想定されます。

ここで注意して欲しいのは、「CVRの差」と、「p値」には相関関係はないという事です。
Aパターン、Bパターンの差が大きいからといって、「p値」が小さい（必然性が高い）ということではございません。

まとめ

最後までお読みいただきありがとうございました。

「p値」の計算方法は、本記事では記載していないですが、Excelやサイトで簡単に計算できるようです。

興味があれば、「p値 計算」や「p値 計算 Excel」などで検索するとヒットしますので、是非実際に「p値」を確認しながら、適切なタイミングでA/Bテスト結果を反映いただければ機会損失の削減につながると思います。