このコラムではABテストのPDCAについてご紹介してします。

おさらい

第1回は「どのページで施策をするかを考える」
第2回は「どんな施策をするかを考える」
第3回は「施策が実施できるようにツール上で設定する」
第4回は「施策開始後は日々レポートの信頼度を確認する」について書きました。

今回はいよいよ最後のテーマ「信頼度が一定の基準に達したらチャンピオンを決める。」についてです。

まずはおさらいですがABテストのPDCAは以下のようになります。

(1)どのページで施策をするか考える。
↓
(2)どんな施策をするか考える。
↓
(3)施策が実施できるようにツール上で設定する。
↓
(4)施策開始後は日々レポートの信頼度を確認する。
↓
(5)信頼度が一定の基準に達したらチャンピオンを決める。
↓
(1)に戻る

これが基本的なPDCAの流れでした。

第1回のコラム

第1回 のコラムでは「(1)どのページで施策をするかを考える。」にフォーカスし、施策すべきページを3つ記載しました。

その3つのページとは、

1つ目、PVが多いページ。
2つ目、CVに貢献しているページ（解析ツールを使用して見つける）。
3つ目、フォーム（CVするユーザーが必ず通るページ）。

で、これらのページのCVRを上げる事ができれば、サイト全体のCVが増えていく事をお伝えしました。

第2回のコラム

また、第2回のコラムでは「(2)どんな施策をするか考える」にフォーカスし、以下のような施策が比較的効果が上がりやすいとご紹介しました。

TOPやLPの場合は、

• ファーストビューのテスト（キャッチコピー・画像・デザイン）
• コンテンツの入替テスト
• コンテンツの長短テスト
• ボタンの文言テスト
• ボタンの色テスト

フォームの場合は

• 記載する項目の数をテスト
• 必須と任意の位置関係テスト
• 必須項目の背景色テスト
• 任意項目の背景色テスト
• 確認ボタンの色テスト
• 確認ボタンの文言テスト
• フォームの上部に画像を挿入するテスト

が効果の上がりやすい施策です。

第3回のコラム

第3回のコラムでは「(3)施策が実施できるようにツール上で設定する」について書きました。
ツールとは「WEBサイトをより効果的に運用するためにお手伝いしてくれるプログラム」であり、GoogleオプティマイズやDLPOなどが挙げられます。

第4回のコラム

第4回のコラムでは「(4) 施策開始後は日々レポートの信頼度を確認する。」について書かせて頂きました。

ABテストした結果、どのパターンが一番効果的だったか？それを信頼度という指標で見るべきという内容でした。

「信頼度」とは、簡単に言うと「そのパターンがもう一方のパターンに勝つ確率」です。50%～100%の値をとります。100%に近づくほど勝ちパターンと判断して間違いないということになります。

今回のテーマ

前置きが長くなりましたが、今回最後のテーマは「信頼度が一定の基準に達したらチャンピオンを決める」についてです。

様々なABテストを実施した後、「いつどのタイミングでチャンピオンを決めたら良いか」という点が多くのご担当者の悩み事だと思います。このチャンピオンの決め方についても前回ご紹介した信頼度を使用します。

その方法は、「効果が悪いパターンを足切りしていき最終的にチャンピオンを決める方法」です。効果が悪く、且つチャンピオンに対する信頼度が90%を超えたパターンから足切り（配信停止）していきます。

例えば、「赤」「青」「緑」のボタンでABテストを開始したとします。

1週間後の結果、

「赤」・・・「UU1,000」「CV10」「CVR1%」
「青」・・・「UU1,000」「CV11」「CVR1.1%」
「緑」・・・「UU1,000」「CV12」「CVR1.2%」

だった場合、現状1位は「緑」です。
その「緑」を基準に「赤」「青」の信頼度を計算すると、

「赤」・・・「UU1,000」「CV10」「CVR1%」「信頼度66.60%」
「青」・・・「UU1,000」「CV11」「CVR1.1%」「信頼度58.31%」
「緑」・・・「UU1,000」「CV12」「CVR1.2%」「信頼度－」

となり、「赤」も「青」も信頼度が90%に達していません。
そのため、まだ足切りはしません。

そして、もう少しこのABテストを続けてみました。

1ヶ月後の結果、

「赤」・・・「UU4,000」「CV40」「CVR1%」
「青」・・・「UU4,000」「CV44」「CVR1.1%」
「緑」・・・「UU4,000」「CV56」「CVR1.4%」

だった場合、現状1位「緑」を基準にした「赤」「青」の信頼度は、

「赤」・・・「UU4,000」「CV40」「CVR1%」「信頼度94.98%」
「青」・・・「UU4,000」「CV48」「CVR1.2%」「信頼度78.51%」
「緑」・・・「UU4,000」「CV56」「CVR1.4%」「信頼度－」

となり、「赤」の信頼度が90%を超えました。

この段階で「赤」を足切り（配信停止）します。

残りは、「青」と「緑」です。

1.5月後の結果、

「青」・・・「UU6,000」「CV72」「CVR1.2%」
「緑」・・・「UU6,000」「CV90」「CVR1.5%」

だった場合の、現状1位「緑」を基準にした「青」の信頼度は、

「青」・・・「UU6,000」「CV72」「CVR1.2%」「信頼度92.28%」
「緑」・・・「UU6,000」「CV90」「CVR1.5%」「信頼度－」

と、ついに「青」の信頼度も90%を超えました。

これで「青」も足切り（配信停止）となり、同時に「緑」のチャンピオン決定です。

今回は1.5カ月でチャンピオンを決める事ができました。

ただし、必ず1.5カ月でチャンピオンが決まるものではありません。
今回は3パターンでしたが、倍の6パターンで実施すると2倍の期間（3ヶ月）かかる可能性もあります。逆に2パターンにすると1ヶ月でチャンピオンが決まる可能性があります。

また、同じ3パターンでもCVRの差が少ないと、もっと時間がかかる事もあります。

このようにいつどのタイミングでチャンピオンが決まるのかということを予測することはできません。信頼度という指標を見ながらチャンピオンを決めていく事が統計的に最も信頼できるチャンピオンの決め方なのです。

このようにABテストは長い道のりですし、やってみないと分からないものでもあります。そのため、このPDCAを回すことは容易ではありません。我々ハートラスではお客様がPDCAを回せられるように最大限のサポートさせて頂いております。

最後に

これまで5回に分けてABテストのPDCAについて説明させて頂きました。
つたない説明でしたので分かりにくいところが多々あったかと思いますが、少しでも皆様のお役に立てられれば幸いです。ご質問等は直接弊社宛にお問い合わせくださいませ。