knowledge

ABテストだけで終わると勿体ない!「セグメント別最適化」のインパクトとは?

ABテストだけで終わると勿体ない!「セグメント別最適化」のインパクトとは?

photo credit: Free Press via Flickr cc

CROコンサルタントの田中です。

前回のCROコラム(第1回)では、弊社の考えるCRO(コンバージョン・レート・オプティマイゼーション)の全体像についてお話させて頂きました。

今回は、弊社が現在特に注力しているソリューションの一つである、「AB/多変量テストおよびターゲティング」について、より具体的なお話をさせて頂きます。

下記図表(1)は、某EC系サイト様の各種広告向けランディングページにおいて、DLPOというツールを用いて実施させて頂いた検証結果の概要になります。

 

「信頼性」「希少性」「機能性」「権威」の4パターンのメインビジュアル(画像)を新規で作成し、ABテストを行いました。その結果、パターン2の「機能性」訴求が、元のクリエイティブ(デフォルト)と比較して1.12倍と、最もCVRが高いことが分かりました(※)。

※上記の結果含め、当コラムでは、統計学上の信頼度(対デフォルト比での勝敗の確かさ)に基づき、有意と見なされる検証結果のみ記載させて頂いております。

しかしここで一点、注意が必要なのは、あくまでページに訪れたユーザー全体(平均)で見た時に上記の結果となる、ということであって、「全てのユーザーにとって」パターン2がチャンピオン、ということではない、ということです。言い換えると、ユーザーの属性(セグメント)別に見ていけば、特定のセグメントにおいては、異なる傾向が得られる可能性がある、ということです。

では、実際に、上記のABテスト結果をユーザーの属性(セグメント)別に分解して見てみると、どのような結果になるのでしょうか?それを下記図表(2)に示してみました。

 

上記は、DLPOで取得・分析できるセグメントの一部(抜粋)になります。ご覧頂くとお分かりになるかと思いますが、セグメントによっては、パター ン2以外のパターンがチャンピオンとなっており、かつ、各セグメントのユーザー群において、顕著に大きなCVR改善率となっています。

こちらのサイト様では、上記の分析結果に基づいてセグメント別に配信の最適化を行うことで、CVRを全体で1.25倍に改善することが出来ました。(ユーザー全体での最適化(パターン統一)の場合は先述の1.12倍の改善率)

弊社では、このように、ABテスト結果を様々なセグメント軸で分析し、セグメント毎に最適なパターンを配信することでサイトのCVR最大化を図っておりま す。ユーザー全体でのABテスト・最適化(1つの勝ちパターンの適用)に対し、このようなセグメント別最適化を行うことで、平均で約2倍程度のCVR改善幅が得られております。(上記の例の場合、セグメント別最適化:+25%、全体での最適化:+12%のため、改善幅は25 ÷ 12 = 2.08倍)

※先述の統計的信頼度を用いることで、少ない母数(母集団)においても、セグメント別最適化を行うことが可能となります。

今回は、ランディングページのメインビジュアルにおける事例をご紹介させて頂きました。次回は、異なるテーマで、CVR最適化の事例をご紹介させて頂きます。

この記事のライター

CroJa 編集部

おすすめの記事

WEB担当者必見!!

実務に役立つ情報をメルマガで無料配信しています。

メルマガ登録はこちらから
メルマガ登録はこちらから

関連する記事