B2C Commerce の A/B テストに関する既知の問題

B2C Commerce での A/B テストの設定に役立つ既知の問題とトラブルシューティングのリストをまとめました。

「訪問者」指標がログアウト時に 2 回増加する

B2C Commerce では、訪問者のメトリクスが 2 回カウントされることがあります。たとえば、A/B テストで、割り当てられた顧客グループとしてEveryone (すべての顧客 ) が割り当てられているとします。登録済み顧客が注文後にログアウトし、ゲストとして別の注文を行った場合、B2C Commerce では訪問者のメトリクスが 2 回カウントされます。同じ顧客が同じセッションで同じ PC を使用している場合でも、B2C Commerce ではこの顧客が 2 回カウントされます。顧客がゲストのみでチェックアウトを行う場合は、顧客の注文数にかかわらず、その顧客は 1 回カウントされます。登録済み顧客がログアウトすると、新規の匿名顧客がサイトを訪問したかのように訪問数と訪問者数のメトリクスがインクリメントされるため、B2C Commerce では一度だけカウントされます。B2C Commerce は、この匿名顧客を別の訪問者と見なし、A/B テストへの参加について再度評価します。顧客が A/B テストの資格を満たしている場合、B2C Commerce は顧客の参加の一部として関連データを生成します。

B2C Commerce では登録済み顧客が 2 回カウントされ、ゲストのチェックアウトが 1 回カウントされるため、メトリクスに問題が生じる可能性があります。A/B テストのメトリクスを収集する場合、B2C Commerce では、登録済みの顧客数や、ゲストチェックアウトにつながるユーザー数がわかりません。

A/B テスト結果のダウンロードで IE8 でセキュリティ警告が表示される

IE8 ブラウザーで初めて A/B テストを .csv ファイルにダウンロードすると、セキュリティメッセージが表示されます。ダウンロードがブロックされたことを知らせるメッセージが表示されます。メッセージを確認すると、A/B テストのリストページが表示され、ファイルはダウンロードされません。もう一度試すと、ダウンロードが始まります。A/B テストモジュールを離れて戻ると、セキュリティ警告が再度表示されます。

このエラーは、Microsoft® IE8でのみ発生します。

クォータによって適用される A/B テストの制限

クォータでは、以下の制限が強制されます。

• B2C Commerce では、最大 12 個の A/B テストにテストセグメントを柔軟に分散できます。
• 「対照群セグメントを含め、テスト内に最大 5 つのテストセグメント、つまり、合計で 4 つのユーザー定義セグメント」です。

匿名顧客が登録済み顧客の A/B テストに参加

匿名の顧客は、次のシナリオでのみ、登録済み顧客用に構成された A/B テストに参加できます。登録済み顧客が、有効期限が「なし」に設定され、登録済み顧客用に設定された A/B テストに参加します。登録済み顧客がサイトを離れるかログアウトしても、パーソナル化 Cookie はそれぞれのシステムに残っています。これで、匿名の顧客がテストに参加できるようになりました。

これは、誤検知の可能性を犠牲にして、A/B テストで一貫性のあるストアフロント体験を生成するためです。以前の訪問で同じブラウザを使用しているユーザーのCookieが設定されていた場合、現在のブラウザユーザーにも設定されたものと見なされます。

登録済み顧客の A/B テストへの参加は、まれにしか発生しません

B2C Commerce では、参加者をラウンドロビン方式でテストに割り当てます。たとえば、A/B テストが「すべてのユーザー」に対して設定されているとします。登録済み顧客用に設定された 2 つ目の A/B テストには、これらの顧客が記憶されていて、ラウンドロビンメカニズムでそのテストが選択されている場合にのみ、参加者がいます。

以下がその例です:

A/B テスト	トリガー済み	顧客グループ
A	即時	Everyone
B	即時	登録済み

考えられるシナリオ:

• 顧客が新しいセッションを開始します。顧客は通常、匿名として開始します。そのため、A/B テスト B は適用されません。B2C Commerce では、許可されたすべての A/B テストが 1 つ一致するまでループ処理され、B は一致しないため、毎回 A/B テストが選択されます。
• 顧客が後でログインします。参加は常に進行中です。そのため、A/B テスト B は割り当てられません。
• 顧客は、「このアカウントを記憶する」フラグをtrueに設定してログインします。彼らは後で店に戻り、記憶されます。A/B テスト B はラウンドロビンシーケンスの次です。そうして初めて、顧客は A/B テスト B の参加者として選ばれます。

ほとんどの参加者に対して、一度に 1 つのテストを実行することをお勧めします。一度に 1 つのテストを実行すると、統計的有意性までの時間を短縮できます。また、結果のゆがみを防ぐために、オーバーラップはありません。

コンテンツスロットにキャンペーンや A/B テストのスケジュールを追加できない

ユーザーは、Business Manager コンテンツスロットモジュール内でキャンペーンを設定できない理由について混乱することがあります。これは仕様で、コンテンツスロットモジュールへのアクセス許可を持つユーザーが、キャンペーンモジュールへのアクセス許可を常に持っているとは限らないためです。キャンペーンと A/B テストを作成できるのは、Business Manager のキャンペーンモジュールへのアクセス許可がある場合のみです。

A/B テスト体験が Page Designer のカテゴリページに適用されない

A/B テスト体験は、Page Designer によってレンダリングされるカテゴリページには適用されません。A/B テスト体験を有効にするには、カテゴリで標準のコントローラーベースのレンダリングパスを使用する必要があります。この制限を回避するには、影響を受けるカテゴリから Page Designer ページ割り当てを削除して、標準のレンダリングパスを使用するようにします。