キャンペーン統計の計算

リフトが目的

A/B テストまたはパーソナライズキャンペーンの目的は、ビジネス目標のリフトオーバーコントロールを生成することです。キャンペーンの影響は、生成されたリフトの測定です。

• リフトは、測定されたビジネス目標の統計的に有意な改善です。

• 制御は、変更が含まれていないか、パーソナライズが適用されていないデフォルトの環境です。

• ビジネス目標は、キャンペーンの成功の定義に使用します。測定できるものが含まれている必要があります。たとえば、クリックスルー、サインアップ、ページまたはサイトでの滞在時間、購入、平均注文金額、ユーザーあたりの収益を測定できます。ビジネス目標には、特定の改善が含まれます。

リフトは、キャンペーン実行後の目標値の増加率を見て計算されます。数式として記述できます。

[(テスト環境の目標値) – (制御の目標値)] / (制御の目標値)]

詳細は、このセクションの後半にある「例」セクションを参照してください。

目標完了条件

ゴールの完了として考慮されるものは?ユーザーあたりの収益、クリックスルー、サインアップ、セグメントメンバーシップ、平均注文金額の計算には何が含まれますか?パーソナライズでは、訪問者が次の条件を満たしている場合のみ、分析の一環として結果が計算されます。

• 対象資格 — 訪問者はキャンペーンを表示する資格があり、テストグループに属してパーソナライズされたエクスペリエンスを受信するか、コントロールグループに属してパーソナライズされたエクスペリエンスを受信しません。

• 完了 — 訪問者はキャンペーンの対象になった後に選択した目標を達成します。同様に、パーソナライズでは、キャンペーンの対象になり購入を行った訪問者のユーザーごとの属性収益が計数されます。

• 期間 — 属性の場合、パーソナライズでは選択した期間内の活動のみが考慮されます。購入が紐付けられるには、選択したキャンペーンインタラクション、インプレッションまたはクリック、ゴールイベントが期間内に発生する必要があります。ゴールイベントには、購入、クリック、ゴール達成が含まれます。詳細は、「Attribution Time Frame Explained in Campaign Statistics (キャンペーン統計で説明する属性期間)」を参照してください。

統計の粒度

同じ期間のキャンペーンリスト画面とキャンペーン統計画面に違いがある場合は、統計の保存方法が異なることが原因です。キャンペーンリスト画面はすばやく読み込まれるように設計されており、合計インプレッション数、クリック数、ゴール完了数などのデータは集計されません。また、異なる計数システムを使用してキャンペーン統計データを取得します。キャンペーン統計画面の読み込みは遅くなりますが、最新のキャンペーンデータが表示されます。キャンペーン統計画面のデータは、相違点があっても信頼できる情報源です。

統計エポック

キャンペーンの「統計エポック」は、現在の反復での統計レポートの開始時刻を表します。キャンペーンに大幅な変更が加えられると、このエポックは変更時刻にリセットされ、その時点から統計の追跡とレポートが再開されます。これにより、統計および信頼性の計算の精度が確保されます。たとえば、エクスペリエンス設定または制御とテストの分割率が変更された場合、これらの異なる設定間で統計的有意度を正確に計算することはできません。そのため、統計はキャンペーンの現在の設定についてのみ報告されます。

統計エポックをリセットする重大な変更:

• キャンペーンの状態を「公開済み」に変更する。
• エクスペリエンスモードの変更 (ユーザーの割合分割からルールベースのエクスペリエンスへの変更など)。
• エクスペリエンスまたはコントロールグループの割合の調整 (コントロールグループを 5% から 10% にするなど)。

信頼性

増分計算された総計値ごとに、パーソナライズでは、選択した比較ベースラインと比較したキャンペーン環境のパフォーマンスの向上が表示されます。自信は、エクスペリエンスが肯定的な結果または否定的な結果をもたらすことをどれだけ確信できるかを示します。パーソナライズでは、結果が 95% 以上の信頼等級を持つ場合、統計的に信頼できるとみなされます。結果にマウスポインターを置いたときの太字の矢印は、統計的に信頼性が高いことを示します。

自信の重要性について考えるときは、次の考慮事項に留意してください。

• 少量のデータから重要な結論を導き出さない。[Examples (例)] セクションの例 2 では、エクスペリエンス 1 のパフォーマンスは制御よりも 35% 優れています。ただし、ゴール完了率に寄与するのは 33 人のアクションのみであり、統計的に有意であるには不十分であるため、信頼性は 0% です。

• データパターンは重要です。データ内のパターンによって、結果が多少なりとも確信できます。

ベイズ分析

パーソナライズでは、ベイズ分析を使用して、すべてのリフト率の信頼性を継続的に計算して更新します。

• ベイジアン分析が 95% を超えている場合、パーソナライズには、キャンペーンの信頼性と、キャンペーンが勝っているか負けているか、対照的な割合が表示されます。

• ベイズ分析が 95% 未満の場合、パーソナライズでは引き続き結果が表示されますが、結果が不確定であることを示します。

キャンペーン統計データの解釈についての詳細は、「関連トピック」セクションを参照してください。

リフトの計算: 例 1

パーソナライズキャンペーンの目標は、ユーザーあたりの収益を増やすことだとします。キャンペーンの制御は、おすすめのない環境です。キャンペーンの対象となる訪問者にコントロール環境が表示される場合、ユーザーあたりの収益は $77.13 です。 キャンペーンの対象となる訪問者にパーソナライズされた環境 (各訪問者の親和性と設定を対象としたおすすめが表示される) が表示される場合、ユーザーあたりの収益は $84.69 です。 キャンペーンの上昇率は 9.8% で、次のように計算されます。

(84.69 - 77.13) / (77.13) = 9.8%

リフトの計算: 例 2

次に、A/B テストとして設定された別のキャンペーンについて考えてみます。この A/B テストキャンペーンの目標は、サイトで改善すべき点であれば何でもかまいません。目標は次のとおりです。

• クリックスルーの増加
• 関心のあるセグメントに参加する訪問者
• 買い物客がメールにサインアップする
• サイトで一定の時間を費やしている訪問者

訪問者がこのサンプルキャンペーンの対象になり、コントロール環境を確認すると、1.01% の割合で目標を達成します。訪問者がこのサンプルキャンペーンの対象になり、パーソナライズされた環境を確認すると、1.36% の割合で目標を達成します。リフトは、キャンペーン実行後の目標値の増加率を調べることで計算されます。

[1.36- 1.01] / [1.01] = 34.9%

パーソナライズされたエクスペリエンスは 34.9% の上昇率を生み出しているようですが、キャンペーン統計では 0% の信頼性を示しています。不確定の結果を考えると、34.9% の上昇は成功を正確に反映しているとは言えません。信頼性が 0% である理由と、その意味は?詳細は、「Confidence Explained in Campaign Statistics (キャンペーン統計の説明の信頼性)」を参照してください。

パーソナライズ統計とサードパーティ Analytics プロバイダーのレポートデータの比較

Personalization キャンペーン統計の使用に加えて、組織はサードパーティの分析ソフトウェアを使用してキャンペーンの効果を追跡することがよくあります。場合によっては、パーソナライズキャンペーンの統計がサードパーティソフトウェアによって収集された統計と異なる場合があります。多くのデータポイントは、Personalization がキャンペーン統計 (設定、タイミング、ユーザーまたは訪問の定義など) を追跡および記録する方法に影響します。パーソナライズのレポートは、分析プロバイダーが同じ情報を追跡する方法とは異なる可能性があるため、不一致の 1 つの理由を特定することは困難です。データ追跡とレポートのパーソナライズ アプローチについての詳細は、「Reports and Analytics」およびキャンペーン統計追跡の開発者ドキュメントを参照してください。