위치:
B2C Commerce의 A/B 테스팅 FAQ
B2C Commerce의 A/B 테스팅에 대해 자주 묻는 질문입니다.
Q: A/B 테스팅 정렬 규칙 상속은 카테고리 정렬 규칙 상속과 어떤 관련이 있습니까?
A: 이 둘은 서로 밀접하게 관련되어 있으므로 항상 해당 상속을 활용하도록 A/B 테스트를 구성하십시오. A/B 테스트를 구성할 때는 최상위 수준 카테고리만 선택하고 상속에 의존합니다. 카테고리 트리에서 모든 하위 카테고리를 선택하지 마십시오(각 카테고리에 정렬 규칙을 명시적으로 할당).
명확한 참여 트리거를 얻을 수 없으므로 사이트 검색 정렬 규칙에 대한 A/B 테스트는 권장하지 않습니다. search-show 파이프라인은 카테고리를 입력할 때도 호출됩니다. 따라서 고객은 검색 또는 카테고리 페이지 보기를 사용하여 검색 테스트에 참여하게 됩니다.
Q: A/B 테스트가 제대로 작동하려면 iscache를 사용하는 각 템플릿에varyby="price_promotion">를 추가해야<한다는 것이 사실입니까?
예를 들어 SiteGenesis 제품 관련 템플릿에는 이미 이 기능이 포함되어 있지만 슬롯 컨텐츠 템플릿에는 포함되어 있지 않습니다. 슬롯 컨텐츠를 A/B 테스트 경험으로 사용하려면 이 매개변수를 슬롯 컨텐츠 관련 템플릿에 추가해야 합니까?
A: 캐싱은 복잡한 주제이며 모든 템플릿에 대한 일반적인 규칙은 없습니다. 정적 컨텐츠를 표시하는 템플릿이 있는 경우 해당 템플릿을 상당히 긴 기간(예: 60분) 동안 캐시합니다. 각 스토어프런트 고객에게만 제공되는 템플릿(예: 카트 컨텐츠)이 있는 경우 해당 템플릿을 캐시하지 마십시오. 가격, 프로모션, 검색 결과 순서 또는 맞춤형 A/B 테스트 경험별로 개인화된 템플릿이 있는 경우varyby="price_promotion">를 사용하여<해당 템플릿을 캐시합니다.
예를 들어 개인화되지 않은 홈 페이지가 있는 경우 60분 동안 캐시합니다. A/B 테스트는 사이트에 대해 계속 작동합니다. B2C Commerce는 이 캐싱된 페이지에도 불구하고 스토어프런트 고객을 즉시 보든 전혀 않든 관계없이 예상대로 A/B 테스트 세그먼트에 배치합니다.
검색에서 정렬 규칙을 사용하는 경우 개인화된 정렬 규칙의 가능성을 고려하여varyby="price_promotion">를 사용하여<검색 결과 페이지를 캐시하십시오. A/B 테스트가 없거나 정렬 규칙 환경이 있는 A/B 테스트가 없는 경우에도 이 작업을 수행합니다. 고객 그룹, 소스 코드 또는 쿠폰 Qualifier를 이유로 검색에 대한 정렬 규칙을 개인화하는 캠페인이 있을 수 있습니다.
varyby="price_promotion">를 사용하여<페이지를 캐시하는 것은 실제로 A/B 테스트에 관한 것이 아니라 개인화에 관한 것입니다. A/B 테스트는 개인화하는 한 가지 방법입니다. 슬롯 캐싱은 다른 방식입니다. 슬롯 컨텐츠 개인화는 스토어프런트 고객에게 적용되는 고객 그룹 및 A/B 테스트 세그먼트에만 따라 달라지며, 프로모션이나 Price Book에는 영향을 미치지 않습니다.
예를 들어 해당 컨텐츠가 특정 고객 그룹 또는 특정 A/B 테스트 세그먼트에만 표시되는 경우에도 60분 동안 슬롯 컨텐츠를 캐싱합니다. Salesforce B2C Commerce는 해당 그룹 또는 세그먼트에 대해서만 해당 콘텐츠를 렌더링하며 해당 그룹 또는 세그먼트의 모든 사용자에게 동일한 콘텐츠가 표시됩니다. 예를 들어 특정 고객 그룹 또는 A/B 테스트 세그먼트에만 슬롯 컨텐츠가 표시되며 해당 컨텐츠에는 스토어프런트 고객의 이름이 포함됩니다. 모든 사용자에게 동일한 이름이 표시되므로 60분 동안 캐시할 수 없습니다. SiteGenesis에는 개인화된 슬롯 컨텐츠 템플릿이 없으므로varyby="price_promotion"가 표시되지 않습니다.< >
Q: B2C Commerce와 비교에서 관찰된 A/B 테스트 지표 간에 불일치가 발생하는 이유는 무엇입니까? 외부 분석 도구?
A: 각 Analytics 도구에는 스토어프런트를 추적하는 고유한 방법(일반적으로 독점)이 있습니다. 외부 분석 도구의 로직은 공개되지 않으므로 지표 비교를 도와드릴 수 없습니다. 그러나 분석 도구 간의 불일치를 설명할 수 있는 몇 가지 일반적인 원인이 있습니다.
B2C에서 여러 A/B 테스트를 동시에 실행 중인 경우, 구매자는 자격을 충족하는 첫 번째 테스트를 입력합니다(일반적으로 홈 페이지 또는 카테고리 페이지를 방문할 때). 할당되면 다른 A/B 테스트에서 생략됩니다. 추가 B2C A/B 테스트에서 이렇게 누락되면 사이트 최적화도구가 외부 도구의 다른 테스트 페이지에 더 많이 방문하게 될 수 있습니다. 그러나 이러한 구매자 중 일부만 실제로 테스트를 수신하며 Salesforce Commerce Cloud(SFCC)가 이를 추적합니다.
참가 트리거가 세션별 또는 고객당으로 설정된 경우 구매자가 사이트로 돌아올 때마다 A/B 테스트를 다시 고려합니다.
플러그인을 사용하는 경우 분석 데이터에 문제가 발생할 수 있습니다. 예를 들어 Facebook 참조 트래픽의 인위적인 인플레이션과 페이지뷰 증가를 받을 수 있습니다. 일부 플러그인은 플러그인이 페이지에만 표시되는 경우에도 사용자가 플러그인과 상호 작용할 때 리디렉션됩니다. 리디렉션은 세 번째 사이트로 이동하고 사용자를 스토어프런트 사이트로 되돌려 보냅니다. 리디렉션이 참조자를 전달하지 않으므로, 트래픽 소스 보고서에는 방문이 세 번째 사이트에서 시작되어 올바른 캠페인 또는 트래픽 소스를 덮어쓴 것으로 표시됩니다.
영향을 받을 수 있는 플러그인은 다음과 같습니다.
- 활동 피드
- 제품 추천
- 좋아요 버튼
SiteGenesis 또는 모바일 웹 스토어프런트 애플리케이션의 경우 좋아요 버튼은 사용자가 클릭할 때까지 비활성 표시 요소로 간주됩니다. 그러나 실제로 Facebook을 호출하여 참조된 제품 세부 정보 페이지에 대한 또 다른 콜백을 실행합니다. 고객이 제품을 볼 때 좋아요 버튼을 누르면 제품 세부 정보 페이지에 대한 두 번째 방문이 발생하며, B2C Commerce는 이 페이지를 다른 A/B 테스트 방문자로 간주합니다. 이는 모든 세그먼트에서 일관된 요소이므로 검정 결과의 비율은 변경되지 않습니다.
마지막으로, 봇 트래픽은 다른 분석 도구에 비해 A/B 테스트에서 왜곡된 결과를 유발할 수도 있습니다.
Q: 할당량에 의해 적용되는 A/B 테스트 매개변수가 있습니까?
A: 할당량은 한 가지 A/B 테스트 제한 사항을 적용합니다. 한 테스트 내의 최대 테스트 세그먼트 5개이고 제어 그룹 세그먼트를 포함하므로, 사용자 정의 세그먼트 수는 총 4개입니다.
Q: 활성 A/B 테스트를 무제한으로 생성하거나 가져올 수 있지만 제한된 수의 테스트만 실제로 활성화될 수 있습니다. B2C Commerce는 활성 테스트를 어떻게 선택합니까?
A: Business Manager는 다음을 기준으로 활성 테스트를 선택합니다.
- 종료 날짜 비교 및 먼저 종료되는 테스트 선택
- 종료 날짜가 동일한 경우 시작 날짜를 비교하고 가장 최근에 시작된 날짜를 선택합니다
이 결정은 역동적입니다. 테스트가 활성화되거나 새로 만들어진 경우 다른 테스트 중 하나보다 즉시 우선할 수 있습니다. B2C Commerce에서는 모든 활성 A/B 테스트에 대해 최대 12개의 A/B 테스트 세그먼트를 허용합니다. 단일 A/B 테스트에는 최대 4개의 세그먼트와 제어 그룹이 포함될 수 있습니다.
Q: 활성 데이터 태그 지정이 A/B 테스트를 사용하기 위한 전제 조건입니까?
A: 아니요. 활성 데이터는 필수 사항은 아니지만 권장됩니다. 예를 들어, 활성 데이터를 정렬 규칙에 사용할 수 있습니다.
Q: A/B 테스팅 설정은 스테이징에서 수행된 후 프로덕션으로 복제됩니다. 인덱싱도 다시 해야 하나요?
Q: 더 많은 테스트를 실행할수록 참가자 풀이 더희석된다는 것이 사실입니까?
A: 테스트를 차례대로 실행해도 참가자 풀에는 영향을 주지 않습니다. 테스트를 동시에 실행하면 각 고객이 한 번에 하나의 테스트에만 참가할 수 있으므로 테스트에서 가능한 참가자를 공유하게 됩니다. 사이트에서 실행되는 테스트가 많을수록 각 테스트의 참가자 수는 줄어듭니다. 참가자 수가 적다는 것은 표본 크기가 작다는 것을 의미하며, 테스트를 더 오래 실행해야 하는 경우가 많습니다. 그러나 B2C Commerce에는 동시 A/B 테스트가 3개만 있을 수 있습니다.
Q: B2C Commerce는 어떤 경험을 지원합니까?
A: B2C Commerce는 프로모션, 컨텐츠 슬롯 및 정렬 규칙을 통해 경험을 지원합니다. 또한 다른 사용자 지정 경험을 정의할 수 있는 스크립트 사용자 지정을 지원합니다.
Q: 두 개의 개별 테스트를 실행하는 대신 세그먼트당 여러 경험이 있는 캠페인에 대해 하나의 테스트를 실행하는 것이 좋습니까? 예를 들어 컨텐츠 슬롯과 프로모션이 포함된 테스트 하나 또는 컨텐츠 슬롯이 포함된 테스트와 프로모션이 포함된 테스트 두 개가 있습니다.
A: 대답은 테스트하려는 항목에 따라 다릅니다. 슬롯의 효과와 정렬 규칙의 효과를 독립적으로 테스트하려면 별도의 테스트를 실행합니다. 슬롯과 정렬 규칙을 모두 포함하는 전략의 결합된 효과를 테스트하려면 단일 테스트를 실행합니다. 단일 테스트를 실행하는 경우 결과가 슬롯 때문인지, 정렬 규칙 때문인지 아니면 이 둘의 조합 때문인지 알 수 없습니다. 개별 테스트를 실행하여 이 세부 정보 수준을 더 잘 이해할 수 있습니다.
A: 그렇기도 하고 아니기도 합니다. 예, 경험이 겹치는 경우 사용자가 다른 테스트에 참여하지 않아 결과가 왜곡될 수 있습니다. 아니요, 경험이 겹치지 않는 경우입니다. 그러나 동일한 지표(예: 전환율)에 대해 측정하는 경우 두 경험 중 하나가 증가를 일으켰다고 주장하기 어렵습니다. 또한 트래픽이 분산되는 테스트 세그먼트가 더 많기 때문에 테스트가 결정될 때까지 시간이 더 오래 걸립니다. 일반적으로 다른 영향에 대한 모든 의심을 없애기 위해 한 번에 하나의 테스트를 실행하는 것이 좋습니다.
Q: 홈페이지에서 슬롯에 대한 A/B 테스트가 있는 경우, 세그먼트 대 제어 그룹에 할당할 비율을 어떻게 결정합니까?
A: 특정 백분율을 다른 백분율보다 선택하는 이유는 테스트의 이유와 구성에 따라 다릅니다. 예를 들어 판매자가 홈페이지의 컨텐츠 슬롯을 테스트하여 보수적인 컨텐츠를 위험하거나 자극적인 컨텐츠와 비교하려고 합니다. 판매자는 위험한 콘텐츠를 보는 그룹에 대해 낮은 할당량을 선택합니다. 또는 색상이나 글꼴과 같은 사소한 차이가 있는 동일한 슬롯의 두 가지 버전을 테스트하기 위해 판매자는 동일한 비율(50/50 또는 33/33/33) 할당을 선택할 수 있습니다. 더 낮은 할당을 사용하면 해당 세그먼트에 있는 참가자의 샘플 크기가 작아지므로, 평균적으로 더 오랜 기간 동안 테스트를 실행해야 합니다. 필요에 따라 더 짧은 테스트를 위해 50/50 할당으로 위험한 콘텐츠를 실행합니다. 그러나 비율 할당이 작을수록 부정적인 반응이 생성되고 위험한 콘텐츠를 본 사용자가 줄어들 경우 테스트를 더 빨리 진행할 수 있습니다.
Q: 이메일 알림이 전송되는 이벤트는 무엇이며 얼마나 자주 전송됩니까?
A: B2C Commerce는 다음과 같은 경우에 이메일 알림을 보냅니다.
- A/B 테스트가 종료됩니다.
- 검정 결과는 통계적으로 유의성이 있습니다.
- A/B 테스트가 일시 중지되었습니다.
- A/B 테스트가 재개됩니다.
