Comprensión de los resultados del Test A/B en B2C Commerce

Relevancia estadística

El punto en el que una prueba adquiere relevancia estadística depende de múltiples parámetros. En general, mientras más similares sean los sujetos de prueba, mayor cantidad de métricas se probarán. Mientras menor sea el tráfico, mayor tiempo le llevará adquirir relevancia. Pero, ¿qué es la relevancia estadística?

En estadísticas, un resultado se considera estadísticamente relevante si no es probable que haya sucedido por casualidad. Por ejemplo, ejecuta un Test A/B que incluyó a 500 clientes. El test mostró que el valor del pedido promedio en septiembre fue un 30 % mayor con un banner de colores otoñales que con un banner de colores oscuros. Aunque los resultados pueden ser estadísticamente relevantes, ¿importa la diferencia? Las pruebas de significación incluyen estadísticas de efecto-tamaño, que se aproximan al tamaño y, por lo tanto, a la importancia práctica de la diferencia. La cantidad de evidencia necesaria para aceptar que un evento no ha sucedido por casualidad es conocida como el nivel de confianza.

Compare las métricas y los valores de los grupos de control y prueba en la página de pruebas A/B. B2C Commerce calcula el nivel de confianza, que indica las probabilidades de que estas diferencias se deban a su cambio en la experiencia del sitio y no por una probabilidad aleatoria. Cuando el nivel de confianza alcanza el 90 %, se lo considera un resultado estadísticamente relevante.

Nota La relevancia estadística del procedimiento de pruebas asume que se ha establecido el tamaño de la muestra antes de iniciar la prueba. Debido a esto, sus resultados iniciales pueden variar hasta alcanzar el tamaño de la muestra. Tenga esto en cuenta cuando reciba cualquier correo electrónico que le informe que su CL ha alcanzado el 90 %.

En el ejemplo del color del banner, si el nivel de confianza calculado por B2C Commerce alcanza el 90 %, considere que el resultado de la prueba es estadísticamente significativo. El equipo de comercialización puede utilizar un banner de colores otoñales en septiembre, con un alto grado de confianza en que tendrá mejores resultados que un banner de colores oscuros.

Duración de la prueba

La duración de la ejecución de una prueba depende de la cantidad promedio de visitantes diarios, el porcentaje de visitantes que se incluyen en una prueba y otros factores externos. En general, debe ejecutarla hasta que la prueba alcanza la relevancia estadística o hasta que queda claro que no lo hará. Comprenda, sin embargo, que un Test A/B de B2C Commerce puede ejecutarse por hasta 90 días.

Un Test A/B finaliza automáticamente en su fecha de finalización a menos que un usuario lo deshabilite. Se envía un correo electrónico a los destinatarios configurados en el Test A/B si alcanza un nivel de confianza del 95 % para su métrica clave. La prueba continúa ejecutándose luego de que se envíe el correo electrónico, por lo que es posible que el nivel de confianza disminuya por debajo del 95 % luego de que se envía el correo electrónico. El correo electrónico solo se envía una vez para evitar el envío de duplicados si el nivel de confianza pasa del 95 % al 94 % y luego vuelve al 95 %. Implemente experiencias de segmento incluso si no se alcanza un nivel de confianza del 95 %. Por ejemplo, implemente para un nivel de confianza del 90 %, 85 %, etc.