Pruebas A/B para Preguntas Frecuentes sobre Comercio B2C

Preguntas frecuentes para pruebas A/B en Comercio B2C.

P: ¿Cómo está la herencia de reglas de ordenación A/B relacionada con la herencia de reglas de ordenación por categorías?

R: Están directamente relacionados: siempre configura tus pruebas A/B para aprovechar esa herencia. Al configurar pruebas A/B, selecciona solo las categorías de nivel superior y confía en la herencia. No selecciones todas las subcategorías en el árbol de categorías (asignando explícitamente una regla de ordenación a cada categoría).

No recomendamos hacer pruebas A/B de la regla de clasificación de búsqueda de tu sitio porque no puedes obtener un disparador claro de participación. La cadena de búsqueda y mostrar también se llama cuando ingresas una categoría. Así, los clientes entran en una prueba de búsqueda con vista de página de búsqueda o de categoría.

P: ¿Es cierto que debes agregar <varyby="price_promotion"> a cada plantilla que usa iscache para que las pruebas A/B funcionen correctamente?

Por ejemplo, las plantillas relacionadas con productos de SiteGenesis ya incluyen esto, pero las plantillas de contenido de tragamonedas no. Para usar contenido de tragamonedas como experiencia de prueba A/B, ¿necesito agregar este parámetro a las plantillas relacionadas con contenido de tragamonedas?

R: El almacenamiento en caché es un tema complejo y no hay una regla general para todas las plantillas. Si tienes una plantilla que muestra contenido estático, guarda esa plantilla en caché por un periodo razonablemente largo, como 60 minutos. Si tienes una plantilla específica para cada cliente de la tienda, como el contenido del carrito, nunca guardes esa plantilla en caché. Si tienes una plantilla personalizada por precio, promoción, orden de resultados de búsqueda o una experiencia personalizada de prueba A/B, guarda esa plantilla usando <varyby="price_promotion".>

Si tienes una página de inicio sin personalizar, por ejemplo, guárdala en caché durante 60 minutos. Las pruebas A/B siguen funcionando para el sitio. B2C Commerce coloca a los clientes en tiendas en segmentos de prueba A/B como se espera, a pesar de esta página en caché, ya sea que la vean de inmediato o nunca la vean.

Si tu búsqueda usa una regla de ordenación, almacena en caché tu página de resultados de búsqueda con< varyby="price_promotion"> para considerar la posibilidad de reglas de ordenación personalizadas. Aunque no tengas pruebas A/B ni pruebas A/B con experiencia en reglas de ordenación, haz esto. Puede haber campañas que personalicen la regla de clasificación para una búsqueda debido al grupo de clientes, código fuente o calificadores de cupones.

Usar <varyby="price_promotion"> para almacenar en caché las páginas no se trata realmente de pruebas A/B, sino de personalización. Las pruebas A/B son una forma de personalizar. El caché de ranuras es una forma diferente. La personalización del contenido de las ranuras depende únicamente de los grupos de clientes y segmentos de pruebas A/B que aplican para un cliente de tienda, y no de las promociones o libros de precios.

Por ejemplo, almacenas en caché contenido de ranura durante 60 minutos, incluso si ese contenido solo aparece para un grupo de clientes específico o un segmento específico de prueba A/B. Salesforce B2C Commerce solo renderiza ese contenido específicamente para ese grupo o segmento, y todos en ese grupo o segmento ven el mismo contenido. Por ejemplo, solo un grupo de clientes específico o segmento de prueba A/B ve el contenido del espacio, y ese contenido incluye el nombre del cliente de la tienda. No se puede guardar en caché durante 60 minutos porque todos ven el mismo nombre. No hay plantillas personalizadas de contenido de tragamonedas en SiteGenesis, por eso <no aparece varyby="price_promotion"> ahí.

P: ¿Por qué existen discrepancias entre las métricas de la Prueba A/B observadas en B2C Commerce vs. ¿Herramientas externas de analítica?

R: Cada herramienta de Analítica tiene su propia manera, usualmente propietaria, de rastrear la tienda física. La lógica de la herramienta de análisis externo no se nos revela, así que no podemos ayudar a comparar métricas. Sin embargo, hay algunas causas comunes que pueden explicar las discrepancias entre las herramientas analíticas.

Si tienes varias pruebas A/B corriendo simultáneamente en B2C, el comprador ingresa la primera prueba para la que califica (usualmente cuando aparece en la página principal o en la página de categoría). Una vez asignados, se omiten de cualquier otro examen A/B. Esta omisión de pruebas B2C A/B adicionales puede hacer que los optimizadores de sitios vean más visitas a sus otras páginas de prueba en herramientas externas. Sin embargo, solo un subconjunto de esos compradores realmente recibe la prueba, y Salesforce Commerce Cloud (SFCC) los rastrea.

Si el disparador de participación se establece como Por sesión o Por Cliente, el comprador es reconsiderado para una prueba A/B cada vez que regresa al sitio.

Si usas complementos, puedes tener problemas con los datos de tu analítico. Por ejemplo, puedes recibir una inflación artificial del tráfico que refiere Facebook y un aumento en las vistas de página. Algunos complementos redirigen cuando un usuario interactúa con el complemento, incluso cuando el complemento solo aparece en la página. La redirección va a un tercer sitio y regresa al usuario al sitio de la tienda. La redirección no pasa al referente, por lo que el reporte de fuentes de tráfico muestra que la visita se originó en el tercer sitio, sobrscribiendo la campaña o fuente de tráfico correcta.

Estos complementos pueden verse afectados:

• Feed de actividades
• Recomendaciones
• Like Button

Para las aplicaciones SiteGenesis o Mobile Web Storefront, el botón de Me gusta se supone que es un elemento de visualización inactivo hasta que el usuario lo presiona. Sin embargo, en realidad hace una llamada a Facebook que emite otra llamada de regreso a la página de detalles del producto referenciada. Cuando un cliente ve un producto, el botón Me gusta genera una segunda visita a la página de detalles del producto, que B2C Commerce cuenta como otro visitante de prueba A/B. Debido a que este es un factor consistente en todos los segmentos, no cambia la proporción de los resultados de la prueba.

Finalmente, el tráfico de bots también puede causar resultados sesgados en las pruebas A/B en comparación con otras herramientas de análisis.

P: ¿Se aplican algunos parámetros de prueba A/B mediante cuotas?

R: Las cuotas imponen una limitación de pruebas A/B: Un máximo de cinco segmentos de la prueba dentro de una prueba, incluido el segmento grupo de control, es decir, cuatro segmentos definidos por el usuario en total.

P: Puedes crear o importar un número ilimitado de pruebas A/B activas, pero solo un número limitado de ellas puede estar realmente activo. ¿Cómo selecciona B2C Commerce las pruebas activas?

R: El Administrador de Negocios selecciona las pruebas activas mediante:

• Comparar sus fechas de finalización y seleccionar las pruebas que terminan primero
• Si tienen las mismas fechas de finalización, comparar sus fechas de inicio y seleccionar las que comenzaron más recientemente

Esta determinación es dinámica. Si una prueba está habilitada o se crea de nuevo, puede tener prioridad inmediata sobre una de las otras. B2C Commerce permite un máximo de 12 segmentos de prueba A/B para todas las pruebas A/B activas. Una sola prueba A/B puede tener hasta cuatro segmentos más el grupo de control.

P: ¿Es el etiquetado de datos activos un requisito previo para usar pruebas A/B?

R: No. Los datos activos no son un requisito, pero se recomienda. Por ejemplo, los datos activos pueden usarse para ordenar reglas.

P: La configuración de pruebas A/B se realiza en staging y luego se replica en producción. ¿También necesito reindexar?

R: No. No es necesario reindexar.

P: ¿Es cierto que mientras más pruebas haces, más se diluye tu grupo de participantes?

R: Realizar pruebas una tras otra no afecta al grupo de participantes. Ejecutar pruebas simultáneamente resulta en que las pruebas compartan a los posibles participantes, porque cada cliente solo puede participar en una prueba a la vez. Cuantas más pruebas se realicen en el sitio, menos participantes en cada prueba. Menos participantes significan un tamaño de muestra menor, lo que a menudo requiere que las pruebas duren más tiempo. Sin embargo, solo puede haber tres pruebas A/B simultáneas en Comercio B2C.

P: ¿Qué experiencias soporta el comercio B2C?

R: B2C Commerce soporta experiencias con promociones, espacios de contenido y reglas de ordenación. Además, soportamos la personalización de scripts donde puedes definir otras experiencias personalizadas.

P: ¿Recomiendas hacer una sola prueba para una campaña con múltiples experiencias por segmento, en lugar de hacer dos pruebas separadas? Por ejemplo, una prueba con un espacio de contenido y una promoción o dos pruebas, una con un espacio de contenido y la otra con la promoción.

R: La respuesta depende de lo que quieras probar. Para probar de manera independiente el efecto de las ranuras versus el efecto de las reglas de ordenación, realiza pruebas separadas. Para probar el efecto combinado de una estrategia que incluye tanto ranuras como reglas de ordenación, ejecuta una sola prueba. Si haces una sola prueba, no puedes saber si los resultados se deben a los espacios, las reglas de ordenación o una combinación de ambas. Haz pruebas individuales para entender mejor este nivel de detalle.

P: ¿Las pruebas en paralelo se influyen entre sí?

R: Sí y no. Sí, si la experiencia se superpone, porque los usuarios no participan en otras pruebas, eso puede distorsionar los resultados. No, si las experiencias no se superponen. Sin embargo, si mides contra la misma métrica, por ejemplo, la tasa de conversión, es difícil argumentar que cualquiera de las dos experiencias haya causado un aumento. Además, toma más tiempo hasta que las pruebas sean concluyentes porque hay más segmentos de prueba en los que se distribuye el tráfico. En general, recomendamos que realices una prueba a la vez, para eliminar cualquier duda sobre otras influencias.

P: Si tengo una prueba A/B para los espacios en la página principal, ¿cómo determino el porcentaje a asignar para segmentos versus el grupo de control?

R: Las razones para seleccionar un porcentaje sobre otro dependen de la razón de la prueba y su configuración. Por ejemplo, un comerciante quiere probar espacios de contenido en la página principal, comparando contenido conservador con algo riesgoso o provocativo. El comerciante elige una asignación baja para el grupo que ve el contenido riesgoso. Alternativamente, para probar dos versiones de la misma ranura con diferencias menores, como color o fuente, un comerciante puede seleccionar asignaciones de porcentaje igual (50/50 o 33/33/33/33). Usar una asignación más baja resulta en un tamaño de muestra más pequeño de participantes en ese segmento, lo que en promedio requiere que realices la prueba por un periodo más largo. Opcionalmente, corre el contenido riesgoso con una asignación 50/50 para una prueba más corta. Sin embargo, con una asignación porcentual más pequeña, haz la prueba más rápido si genera una reacción negativa, con menos usuarios habiendo visto el contenido riesgoso.

P: ¿Qué eventos hacen que se envíe una notificación por correo electrónico y con qué frecuencia se envía?

R: B2C Commerce envía notificaciones por correo electrónico cuando:

• La prueba A/B termina.
• Los resultados de la prueba se vuelven estadísticamente significativos.
• La prueba A/B está pausada.
• Se reanuda la prueba A/B.

Las notificaciones por correo electrónico se envían cada hora.