B2C Commerce 的 A/B 测试常见问题解答

B2C Commerce 的 A/B 测试常见问题。

问：A/B 测试排序规则继承与分类排序规则继承有何关系？

答：它们是直接相关的：始终配置您的 A/B 测试以利用该继承。配置 A/B 测试时，仅选择顶级类别并依赖继承。不要选择分类树中的所有子分类（为每个分类显式分配排序规则）。

我们不建议对站点搜索排序规则进行 A/B 测试，因为无法获得明确的参与触发条件。当您输入分类时，也会调用 search-show 管道。因此，客户将通过搜索或分类页面视图带入搜索测试。

问：是否真的必须将 <varyby=“price_promotion”> 添加到使用 iscache 进行 A/B 测试的每个模板才能正常工作？

例如，与 SiteGenesis 产品相关的模板已经包含此功能，但插槽内容模板没有。要将网页动态内容用作 A/B 测试体验，是否需要将此参数添加到与网页动态内容相关的模板中？

答：缓存是一个复杂的主题，没有适用于所有模板的一般规则。如果有一个显示静态内容的模板，请将该模板缓存相当长的时间，例如 60 分钟。如果您有特定于每个网店客户的模板（例如购物车内容），切勿缓存该模板。如果您有一个按价格、促销、搜索结果顺序或自定义 A/B 测试体验进行个性化设置的模板，请使用 <varyby=“price_promotion”> 缓存该模板。

例如，如果您有一个非个性化的主页，请将其缓存 60 分钟。A/B 测试仍然适用于该站点。尽管有此缓存页面，B2C Commerce 仍按预期将店面客户置于 A/B 测试分段中，无论他们是否立即查看或从未看到它。

如果搜索使用排序规则，则使用 <varyby=“price_promotion”> 缓存搜索结果页面，以考虑个性化排序规则的可能性。即使没有 A/B 测试或没有具有排序规则体验的 A/B 测试，也要执行此操作。可能有一些活动会因为客户组、源代码或优惠券限定符而个性化搜索的排序规则。

使用 <varyby=“price_promotion”> 缓存页面并不是真正的 A/B 测试，而是个性化。A/B 测试是个性化的一种方式。插槽缓存是一种不同的方式。动态内容个性化仅取决于适用于网店客户的客户组和 A/B 测试分段，而不取决于促销或价目表。

例如，您可以将网页动态内容缓存 60 分钟，即使该内容仅对特定客户组或特定的 A/B 测试分段显示。Salesforce B2C Commerce 仅专门针对该组或区段呈现该内容，并且该组或区段中的每个人都能看到相同的内容。例如，只有特定的客户组或 A/B 测试分段才能看到动态内容，并且该内容包括网店客户的姓名。它不能缓存 60 分钟，因为每个人都看到相同的名称。SiteGenesis中没有个性化的老虎机内容模板，这就是为什么 <varyby=“price_promotion”> 没有出现在那里的原因。

问：为什么在 B2C Commerce 中观察到的 A/B 测试指标之间存在差异。外部分析工具？

答：每个分析工具都有自己的（通常是专有的）跟踪网店的方式。外部分析工具的逻辑没有向我们披露，因此我们无法帮助比较指标。但是，有一些常见原因可以解释分析工具之间的差异。

如果在 B2C 中同时运行多个 A/B 测试，购物者将输入他们有资格参加的第一个测试（通常是在他们登陆主页或分类页面时）。一旦分配，它们就会从任何其他 A/B 测试中省略。进一步 B2C A/B 测试中的这种遗漏可能导致站点优化器在外部工具中看到对其其他测试页面的更多访问。但是，这些购物者中只有一部分人真正接受了测试，Salesforce Commerce Cloud （SFCC） 会跟踪他们。

如果参与触发条件设置为“按会话”或“按客户”，则每次购物者返回站点时，都会重新考虑其进行 A/B 测试。

如果您使用的是插件，则可能会遇到分析数据问题。例如，您可以收到 Facebook 引荐流量的人为膨胀和网页浏览量的增加。某些插件会在用户与插件交互时重定向，即使插件仅出现在页面上也是如此。重定向转到第三个站点，并将用户返回到网店站点。重定向不会通过来源，因此流量来源报告显示访问来自第三个站点，覆盖了正确的广告活动或流量来源。

以下插件可能会受到影响：

• 活动源
• 推荐
• “赞”按钮

对于 SiteGenesis 或移动网店应用程序，“赞”按钮在用户点击之前应为非活动显示元素。但是，它实际上会调用 Facebook，从而向引用的产品详细信息页面发出另一个回调。当客户查看产品时，“赞”按钮会导致客户第二次访问产品详情页面，B2C Commerce 会将其计为另一个 A/B 测试访客。因为这是所有分段的一致因子，所以它不会改变测试结果的比率。

最后，与其他分析工具相比，机器人流量也可能导致 A/B 测试结果出现偏差。

问：配额是否强制执行任何 A/B 测试参数？

答：配额强制执行一项 A/B 测试限制：一个测试中最多有 5 个测试分段，包括控制组分段，因此共有 4 个用户定义的分段。

问：您可以创建或导入无限数量的活动 A/B 测试，但只有有限数量的 A/B 测试可以真正处于活动状态。B2C Commerce 如何选择活动测试？

答：Business Manager 按以下方式选择活动测试：

• 比较它们的结束日期并选择最先结束的测试
• 如果它们具有相同的结束日期，请比较它们的开始日期并选择最近开始的日期

这种决定是动态的。如果一个测试是启用的或新创建的，它可以立即优先于其他测试之一。B2C Commerce 允许所有活动 A/B 测试最多有 12 个 A/B 测试分段。单个 A/B 测试最多可以有四个段加上对照组。

问：活动数据标记是使用 A/B 测试的先决条件吗？

答：不可以。活动数据不是必需的，但建议使用。例如，活动数据可用于排序规则。

问：A/B 测试设置在准备环境 （Staging） 上完成，然后复制到生产环境 （Production）。我还需要重新索引吗？

答：不可以。不需要重新索引。

问：您运行的测试越多，您的参与者池就越 稀释 ，这是真的吗？

答：一个接一个地运行测试对参与者池没有影响。同时运行测试会导致测试共享可能的参与者，因为每个客户一次只能参与一个测试。在站点上运行的测试越多，每次测试的参与者就越少。更少的参与者意味着更小的样本量，这通常需要测试运行更长的时间。但是，在 B2C Commerce 中只能同时进行三个 A/B 测试。

问：B2C Commerce 支持哪些体验？

答：B2C Commerce 支持促销、网页动态内容和排序规则方面的体验。此外，我们还支持脚本自定义，您可以在其中定义其他自定义体验。

问：您是否建议为每个细分具有多个体验的广告系列运行一个测试，而不是运行两个单独的测试？例如，一个测试包含网页动态内容和促销，或者两个测试，一个测试包含网页动态内容，另一个测试包含促销。

答：答案取决于您要测试的内容。若要独立测试动态内容的效果与排序规则的效果，请分别运行测试。要测试同时包含动态内容和排序规则的策略的综合效果，请运行单个测试。如果运行单个测试，则无法判断结果是由动态内容、排序规则还是两者的组合造成的。运行单个测试以更好地了解此详细程度。

问：并行运行测试是否相互影响？

答：是的，也不是。是的，如果体验重叠，因为用户不参与其他测试，这可能会扭曲结果。不可以，如果体验不重叠。但是，如果您使用相同的指标（例如转化率）进行衡量，则很难说任何一种体验都导致了增长。此外，测试需要更长的时间才能得出结论，因为流量分布到的测试分段更多。通常，我们建议您一次运行一个测试，以消除对其他影响的所有疑问。

问：如果我在主页上对插槽进行了 A/B 测试，如何确定分配给细分组和对照组的百分比？

答：选择一个百分比而不是另一个百分比的原因取决于测试的原因及其配置。例如，商家想要测试主页上的内容，将保守的内容与有风险或挑衅的内容进行比较。商家为看到有风险内容的组选择较低的分配额。或者，要测试同一插槽的两个版本，但颜色或字体略有不同，商家可以选择相等的百分比（50/50 或 33/33/33）分配。使用较低的分配会导致该分段中参与者的样本量较小，平均而言，这需要您运行更长时间的测试。（可选）使用 50/50 的分配来运行有风险的内容，以获得更短的测试。但是，如果分配的百分比较小，则如果测试产生负面反应，则拉取测试的速度会更快，并且看到有风险内容的用户也会减少。

问：哪些事件会导致发送电子邮件通知，发送通知的频率如何？

答：B2C Commerce 在以下情况下发送电子邮件通知：

• A/B 测试结束。
• 测试结果具有统计学意义。
• A/B 测试暂停。
• A/B 测试将恢复。

电子邮件通知每小时发送一次。