case

ABテストの統計的有意性に関して

ABテストの統計的有意性に関して

ABテストツール「DLPO」では、ABテストをした結果が明確な数値で表されます。

例えば下記はボタンの色をテストした結果です。

デフォルトは「赤」で、 それ以外に「オレンジ」「青」「緑」「ピンク」の計5パターンでテストをしてみました。

結果の善し悪しは赤枠のCVRで見ます。

各パターンのCVRは、

1.デフォルト(赤) CVR4.67%

2.オレンジ CVR5.19%

3.青 CVR4.56%

4.緑 CVR4.29%

5.ピンク CVR4.44%

ですので、

チャンピオンパターンは「2.オレンジ」になります

では、チャンピオンの「2.オレンジ」はデフォルトに比べてどれくらい改善されているでしょうか?

どれくらい改善されたかは上記赤枠内の改善率を見ます。

一番効果の良い「2.オレンジ」はデフォルトに比べて、改善率が11.26%でした。

月間のCV数が数千あるサイトですと、11.26%の改善で数百のCV純増が見込めますので、かなりの効果になります。

ところで、この改善率11.26%は信頼できうる値でしょうか。

言いかえると、統計的に「2.オレンジ」が今後もチャンピオンになりうると言いきって良いかでしょうか。

これを見るためには下記赤枠内の「改善信頼度」を見ます。

この「改善信頼度」は0%~100%の値をとります。

デフォルトを基準として各パターンの「改善信頼度」が計算されます。

デフォルトに対してCVRが勝ってるパターンの「改善信頼度」は100%に近づきます。

逆にデフォルトに対してCVRが負けているパターンの「改善信頼度」は0%に近づきます。

上記表からデフォルトに勝っているパターンを見ますと、

「2.オレンジ」の改善率は11.26%で、改善信頼度は94.0%となっており、

デフォルトに対してCVRの差が開けば開くほど100%に近づくようになっています。逆に負けているCVRの差が開けば開くほど0%に近づくようになっています。

この「改善信頼度」が90%を超えていれば、統計的に有意な差がついていると言えますので、我々も「改善信頼度」が90%を超えた時点で、そのチャンピオンパターンに固定するようにしています。

ではこの「改善信頼度」はどのような計算で算出されているでしょうか?

こちらに関してはまた別の機会でお話ししたいと思います。

この記事のライター

CroJa 編集部

おすすめの記事

WEB担当者必見!!

実務に役立つ情報をメルマガで無料配信しています。

メルマガ登録はこちらから
メルマガ登録はこちらから

関連する記事