A/B テストキャンペーン

A/B テストとは?

A/B テストは、本当の定義では、検定と制御の 2 つのバリエーションを持つ統計的仮説検定の形式です。A/B テストキャンペーンでは、トラフィックをランダムに異なるグループに分け、各グループにメッセージのバリエーションを表示します。

Marketing Cloud Personalization の A/B テストでは、トラフィックのランダムな分割を使用して仮説をテストするキャンペーンをより広範に定義します。A/B テストキャンペーンを作成する場合は、複数のエクスペリエンスを追加して、訪問者トラフィックの割合をそれぞれ割り当てます。コントロールは、キャンペーンを表示する資格があるが、キャンペーンが表示されないユーザーのグループです。コントロールグループは、キャンペーンの成功または影響を測定するベンチマークを作成します。このグループのユーザーにはキャンペーンが表示されないため、キャンペーンを表示するグループと結果を比較できます。ユーザーの行動、アクション、無操作、アフィニティ、属性は A/B テストに影響しません。

偏りのない統計的に適切なテストのベストプラクティスとして、メッセージを互いのバリエーションとして作成します。たとえば、インラインメッセージに対してポップアップメッセージをテストしても、形式ごとに異なるユーザー動作が呼び出されるため、実際の効果測定ではありません。そのため、エクスペリエンスは比較できません。A/B テストのより適切な例は、2 つの終了ポップアップ割引コードをテストしてどちらが効果的かを判断するキャンペーンです。

テスト計画

A/B テストを計画するときは、テスト目標を仮説として明確に示します。典型的なパーソナライズ仮説は、「ユーザーグループ (B) の (A) を変更すると (C) の結果が表示されるようになる」というものです。

また、仮説を調査します。キャンペーンを作成する前に、初期分析を実行して、仮説を検証する価値があることを確認します。たとえば、「私の仮説の対象オーディエンスは?その場合、その利用者の規模は?Personalization でオーディエンスセグメントを作成できますか?」これらの質問への回答は、仮説と結果のキャンペーンのリーチを判断するのに役立ちます。

サンプルサイズ

探しているデータレートと効果のサイズは、テストを実行する期間を決定するのに役立ちます。テストを計画するときは、サンプルサイズ計算を使用してサンプルサイズを計算し、テストを実行することを検討してください。多くのサンプルサイズ計算ツールがオンラインで参照できます。計算機能を使用すると、テストに必要なデータ量を把握できるため、キャンペーンを実行する期間を判断するのに役立ちます。

従来の統計では、事前に計算し、必要なデータがあるときに結果を 1 回 (1 回のみ) 確認します。その時、表示される違いが本物か、偶然かを宣言します。サンプルサイズの計算は検出力分析と呼ばれ、従来の統計検定で必要なステップです。パーソナライズでは、従来のフレームワークではなくベイズ的アプローチが使用されるため、サンプルサイズの計算は必須ではありません。ただし、テストの実行時間が不明な場合は、テストを計画するのに役立ちます。

サンプルサイズを使用する場合は、次の点に留意してください。

• サンプルサイズの計算機能を使用していて、サンプルサイズに達しても信頼性が 95% に達していない場合、テストを中止して違いがないことを宣言できます。(または、差分の信頼性を使用できます)。95% の信頼性に達したら、勝者を宣言できます。

• 期待よりも早く自信を持つことができます。従来のテストとは異なり、Personalization では基盤となる分布を直接モデル化するため、通常は必要なサンプル数が少なくて済みます。そのため、テストを 1 か月間実行していて、3 週間後に自信が持てば、停止して違いを宣言できます。

詳細は、「Confidence Explained in Campaign Statistics (キャンペーン統計の説明の信頼性)」を参照してください。

適切なテスト時間

テスト時間については、次の推奨事項に従ってください。

• 慌てて判断に抵抗しなさい。テストの初期は、特にトラフィックの少ないテストでは、キャンペーン統計が安定する前に変更される可能性があるため、無視することをお勧めします。

• 1 週間分のデータの倍数を使用します。ユーザーの行動は日によって異なるため、ベストプラクティスとして、1 週間分のデータを複数含めて経時的にテストの勝者を決定することをお勧めします。Web キャンペーンの開始日と終了日を設定できます。

• トラフィック割り当てを調整できるようにします。各ユーザープロファイルはパーセントグループでランダムに選択されます。トラフィック分割は、キャンペーンを初めて公開したときのエクスペリエンス割り当てを反映しているとは限りません。トラフィックレベルが増加すると、それに応じてパーセントが調整されます。

異なるテストグループへのユーザーの割り当て方法

ユーザーに表示される環境を決定するために、パーソナライズではユーザーのユーザー ID とキャンペーン ID を組み合わせて、バックグラウンドで計算を実行します。ユーザーにエクスペリエンスが表示されると、キャンペーンの状態や、ユーザーがテストグループとコントロールグループのどちらに含まれていたかに関するデータを含む統計が収集されます。プロファイルの変更がユーザーの対象となるグループに影響しない限り、ユーザーには同じ環境が引き続き表示されます。

テストグループの期待インプレッション率が表示されない場合、最も可能性の高い原因はエクスペリエンスの問題で、あるエクスペリエンスと別のエクスペリエンスを表示できないということです。たとえば、エクスペリエンスで一部のユーザーが持っていない属性を参照し、デフォルト値がないとします。または、エクスペリエンスに満たされないルールがある。または、エクスペリエンスでおすすめが使用されても結果が返されない。

テスト結果

テスト結果を調べる場合、テスト後のリフトは高くなることも低くなることもあります。確定勝利テストがあっても、実験で確認したリフトを正確に再現できない場合があります。重要なのは、勝利テストの指標が他のテストよりも高いことです。

勝者が表示される場合、ベストプラクティスは、初回ユーザーと再訪問ユーザーのグループで同じ効果が表示されるかどうかを確認することです。初めて使用するユーザーに効果が見られない場合は、新規性または「光沢のある物体症候群」が原因である可能性があります。通常のユーザーはこの変更に関心がありますが、最終的には以前の動作に戻ります。初めて使用するユーザーに効果が見られる場合、効果が持続する可能性が高くなります。

複数のキャンペーンでの A/B テスト

使用事例によっては、キャンペーンを使用して複数のコンテンツゾーンを対象にしてエクスペリエンスをパーソナライズする必要があります。ユーザーに有益な環境を提供するためには、これらの複数のレベルのパーソナライズを調整することが重要です。

たとえば、ユーザーのお気に入りのカテゴリに基づいてホームページのヒーローバナーをパーソナライズし、同じカテゴリのおすすめが含まれるページの下部におすすめゾーンを表示できます。ユーザーが両方のキャンペーンで一貫したエクスペリエンスを得られるように、A/B テストセグメントを使用してルールベースのキャンペーン内で利用者をランダム化できます。次に、A/B テストセグメントを対象とするすべてのエクスペリエンスでランダム化された選択を保持します。