ABテストのメリットとデメリット

ABテストのメリットとデメリット

こんにちは、システム管理部の橋本です。

年末に差し掛かり、めっきり寒くなってきましたね。
弊社の場合、年末年始に長期のお休みが続く関係上、12月は前半に集客の予算を投下するなど、変化をつけて運用しておりました。
弊社の運用チームのスタッフも、広告文を変えたり、画像クリエイティブを変えたりと、前半は特に忙しそうな雰囲気でした。

さて、前回の記事では、「集客の効果を最大化。ABテストのすすめ!」として、投資対効果の改善にはABテストがおすすめという内容で、ABテストの概要などを中心に説明させていただきました。

前回の記事は「こちら」

投資対効果改善におすすめのABテストですが、実際に始める前に、改めてABテストのメリット・デメリットを整理しようと思います。

ABテストのメリット

投資対効果の改善

ABテストの改善が期待できる要素ですが、

  • バナーのクリック率(CTR)
  • 滞在時間
  • ランディングページの直帰率
  • 次ページへの遷移率
  • フォームのコンバージョン率(CVR)
  • 購入商品のクロスセル

など、多岐にわたります。

1つ1つの改善が少なくても、「塵も積もれば山となる」のことわざ通り、掛け合わせる事で、大きな改善につながります。

結果を比べる事で安全に改善できる

リニューアルをした結果、リニューアル前の方がCVRが良いなどという悲惨な目に合わなくて済むように、ABテストの場合、同時期にスプリットラン(同時並行)でテストを行える事が大きなメリットになります。結果を見て効果の高いほうを残して、次のテストを開始するというPDCAを回すことで、段階的に、安全に改善を行う事が可能です。

リニューアルにくらべ予算が安価

サイトやページのリニューアルを考えると、ページ数にもよりますが、大きな予算が必要になるケースが通例です。比べてABテストの場合は、安価なツールも多く存在しますので、それらを利用すれば、大幅に予算を抑えながら、サイトの効果を上げることが可能です。

工数も少なく開始できる

一般的にリニューアルを行うには、サイト構造、コンテンツを企画し、デザインに起こし、HTMLやプログラムを用いて構築していくので、着手から完了までの工数が長くかかります。比べてABテストであれば、例えば、ヘッド部の画像や、コピーなど、ちょっとした修正から対応が可能で、少ない工数で開始して、継続する事で改善が可能です。

ABテストのデメリット

ABテストの方法によっては有効かどうかがわからない

よくあるケースですが、サイトの課題に対して、一所懸命改善案を考えて、良いアイデアがたくさん閃いた場合など、早く改善したい気持ちが募り、一気にいくつもの要素に対して、同時並行でABテストを実施したくなりませんか?
ただ注意して欲しいのは、基本、ABテストは一度に一要素が望ましいです。
多くの要素を同時並行でテストしてしまうと、どの要素への施策が改善につながったのか検証が難しく、間違った判断をするリスクが高まります。
また事前にしっかり分析し、仮説を立てることが非常に重要です。仮説の立て方が弱い場合、テスト結果の解釈にも大きく影響します。

分析の分母(アクセス数)が一定数必要

ABテストの結果を判断するには、ある程度の母数が必要になってきます。
母数が10の場合、1CVが起こると、CVRは10%も変動します。
統計学上、標本誤差5%以下が有意水準とされており、この場合、分母は400以上が望ましいです。ABテストを行いたいページへのアクセス数を把握してから行わないと、思わぬ時間がかかることになるので、注意が必要です。

継続的な検証・改善が必要

時期的要因や、流行などによって、訪れるユーザーの動向や趣向は移り変わります。継続的に効果を出していくには、当然ながら、ABテストも継続してPDCAを回していく体制が必要です。

まとめ

最後までお読みいただきありがとうございました。

ABテストは、サイトリニューアルに比べて、安価で容易に始める事が可能です。
本ブログでも今後紹介していきますが、アイデア次第では、劇的に投資対効果の改善につながるケースもございます。

ABテストを始めてみようと思ったら、デメリットに記載の内容を今一度ご確認いただき、是非、効果の高い成功体験(改善)を実感していただければと思います。

特に仮説をしっかり立て検証を行うPDCAを繰り返すことで、仮説の精度があがれば、より改善が期待できるようになりますので、事前準備をおろそかにせず、取り組んでいただければと思います。