Teste A/B do B2C Commerce: Comparar promoções

Compare promoções com testes A/B.

Como parte de uma nova campanha, o gerente de marketing quer saber qual das seguintes promoções tem o melhor desempenho para o grupo de controle.

• Frete gratuito para pedidos acima de $100
• 10% para pedidos acima de $100
• $25 de desconto em pedidos acima de $200.

O gerente de marketing faz o seguinte:

1. Clica no Iniciador de aplicativos e seleciona Ferramentas do comerciante | Site | Marketing online | Promoções, e verifica se as três promoções existem e adiciona as que estão em falta.
   • Frete gratuito acima de 100
   • 10% de desconto acima de 100
   • $25 de desconto acima de 200
2. Clica no Iniciador de aplicativos e seleciona Ferramentas do comerciante | Site | Marketing online | Testes A/B e cria um teste com o ID Teste de Promoção de Conteúdo.
3. Habilita o teste e insere uma descrição opcional que deve ser usada no teste.
4. Inclui um endereço de e-mail para ser notificado quando houver resultados estatisticamente relevantes para a métrica-chave.
5. Seleciona Pedidos como a métrica-chave, mas também considera as outras métricas ao olhar para os resultados. (O teste está procurando a promoção que gera a Taxa de conversão mais alta. O teste também está procurando por uma que maximize a Média de valor do pedido e minimize a Média do valor de desconto.
6. Seleciona por cliente ou por navegador para fornecer mais controle. O gerente de marketing quer oferecer aos clientes a mesma promoção, se eles retornarem ao site em uma visita repetida durante o teste.
   

   Nota Por cliente rastreia no perfil do cliente, portanto, sempre que o cliente é reconhecido, ele participa do mesmo segmento de teste. Por navegador rastreia de forma simlar ao por cliente, exceto que a participação está conectada ao histórico e aos cookies do navegador.
7. Configura o teste para incluir participantes do grupo Todos, para que todos os clientes possam participar.
8. Define três segmentos de teste:
   • Frete gratuito acima de 100 30% alocado
   • 10% de desconto acima de 100 30% alocado
   • $25 de desconto acima de 200 30% alocado
     

     Nota O Business Manager aloca automaticamente os 10% restantes para o grupo de controle.
9. Clica no Iniciador de aplicativos e seleciona Ferramentas do comerciante | Site | Marketing online | Slots de conteúdo e identifica um slot chamado header-banner no site para mostrar um banner para cada promoção incluída. e cria três configurações de slot para header-banner, cada uma com o conteúdo para uma das três promoções.
10. Retorna ao teste e inclui o slot de configuração correspondente como uma experiência para cada grupo de teste além do grupo de controle.
11. Define a data de início para a próxima meia-noite e a data de término para sábado, às 9h. (O gerente de marketing quer uma resposta antes que a liberação de verão comece na próxima segunda-feira.)

Após criar um teste na instância de Staging, o gerente de marketing o replica na instância de Production. O teste entra em vigor à meia-noite. Não há resultados pela manhã. Os resultados começam a surgir no dia seguinte. Na manhã de sábado, um alerta por e-mail indica que houve resultado, que podem ser analisados na página de resultados, da seguinte maneira:

• Pedidos: o segmento frete gratuito acima de $ 100 exibe uma diferença estatisticamente relevante na Taxa de pedido de 5%. Os outros segmentos mostram uma Taxa de pedido quase igual de 4%.
• Média de valor do pedido: o $25 de desconto acima de 200 tem uma diferença estatisticamente relevante de $59,50. Os outros segmentos mostram uma média de valor do pedido quase igual, de aproximadamente $47.
• Média de receita por visita: o segmento frete gratuito acima de 100 é mais alto, mas a diferença não é estatisticamente relevante.

O gerente de marketing conclui que as promoções frete gratuito acima de $100 e $25 de desconto acima de $200 têm um desempenho melhor que o grupo de controle e as seleciona para serem usadas no site. Eles usam as duas promoções no site.