위치:
B2C Commerce의 A/B 테스팅: 검색 정렬 비교
검색 전문가는 카테고리 매출에 대한 검색 주문의 차이를 테스트하고자 합니다. 전문가는 활성 데이터를 사용하여 탑셀러 및 최고 수익이라는 두 가지 새로운 정렬 규칙을 정의합니다. 이 테스트에서는 규칙을 사용하여 어떤 항목이 해당 카테고리의 최고 매출에 기여했는지 알아봅니다.
검색 전문가는 다음 작업을 수행합니다.
- 앱 런처
를 클릭한 다음 를 선택하고 compare-search-sorting이라는 A/B 테스트를 구성합니다. - 테스트를 활성화하고 테스트에 사용할 설명(선택 사항)을 입력합니다.
- 주요 지표에 대해 통계적으로 유의성이 있을 경우 알림을 전달할 이메일 주소를 포함합니다.
- 평균 주문 금액을 주요 지표로 선택합니다.
- 참가가 세션에 따라 만료되도록 구성합니다.
- 테스트를 8월 2일부터 8월 31일까지 실행하도록 설정합니다.
- 모든 그룹을 통해 테스트가 모든 고객에게 제공되도록 합니다.
- 두 개의 테스트 세그먼트 생성:
- 검색의 기본값이 해당 카테고리별로 세분화되어, 참가자의 50%에 할당되었으므로 정렬 규칙 테스트 세그먼트를 탑셀러로 설정합니다.
- 검색의 기본값이 해당 카테고리별로 세분화되어, 참가자의 45%에 할당되었으므로 정렬 규칙 테스트 세그먼트를 최고 수익으로 설정합니다.
- 제어 그룹은 다른 규칙인 가장 빠른 셀러를 가져옵니다. 해당 카테고리에 대해 기본 값으로 사이트 전체에 구성되었기 때문입니다. 이는 5%에 할당됩니다.
검색 전문가는 7월에 테스트를 복제하고 8월 2일에 시작됩니다. 검색 전문가가 가끔 결과를 확인하지만 결론이 나오지 않습니다. 테스트는 8월 31일에 종료되며, 검색 전문가는 결과를 최종 시간에 확인합니다. 평균 주문 금액을 비롯한 일부 지표의 경우 그룹 간의 차이는 최소였습니다. 주문이 2,500개인 경우에도 이러한 차이는 통계적으로 유의하지 않았습니다.
검색 전문가는 탑셀러 및 최고 수익 규칙을 재설계하여 최근 365일 대신, 최근 7일간에 대한 판매 속도를 사용기로 결정합니다. 이러한 정렬 순서가 현재 트렌드에 대해 더 빠른 반응을 보여줄 것으로 기대하기 때문입니다. 검색 전문가는 테스트를 복사한 다음 노동절 후 30일간 다시 실행합니다. 정렬 규칙의 변경 사항은 그 자체로도 테스트에 영향을 미치기에 충분하며 테스트 그룹은 변경하지 않아도 됩니다. 검색 전문가가 변경된 정렬 규칙과 복사한 A/B 테스트를 프로덕션에 복제하고 실행을 시작합니다.
2주가 지나면, 탑셀러 규칙이 통계적으로 유의성이 있는 높은 평균 주문 금액이 나왔음을 이메일로 알 수 있습니다. 문제라고 의심되었던 활성 데이터의 적시성이 이 경우 맞았습니다. 검색 전문가는 탑셀러 규칙을 기본값으로 선택합니다.
