Calculs de statistiques de campagne

L'ascenseur est l'objectif

L'objectif de toute campagne de test A/B ou de personnalisation est de générer un contrôle sur un objectif métier. L'impact de la campagne est la mesure de l'ascenseur généré.

• Lift est une amélioration statistiquement significative d'un objectif métier mesuré.

• Le contrôle est l'expérience par défaut sans la modification incluse ni la personnalisation appliquée.

• L'objectif métier est celui que vous utilisez pour définir la réussite d'une campagne. Il doit inclure un élément que vous pouvez mesurer. Vous pouvez par exemple mesurer un clic, une inscription, le temps passé sur une page ou un site, un achat, la valeur moyenne d'une commande et le chiffre d'affaires par utilisateur. Un objectif métier inclut un montant spécifique d'amélioration.

La levée est calculée en examinant le pourcentage d'augmentation de la valeur de l'objectif après l'exécution de la campagne. Elle peut s'écrire sous forme d'équation mathématique :

[(Valeur d'objectif pour une expérience test) – (Valeur d'objectif pour le contrôle)] / (Valeur d'objectif pour le contrôle)]

Pour plus de détails, consultez la section exemples plus loin dans cette section.

Critères de réalisation des objectifs

Qu'est-ce qui compte pour une réalisation d'objectif ? Qu'est-ce qui compte dans les calculs du chiffre d'affaires par utilisateur, du nombre de clics, de l'inscription, de l'appartenance au segment et de la valeur moyenne de la commande ? La personnalisation calcule les résultats uniquement dans le cadre de l'analyse si un visiteur remplit ces critères.

• Qualification : le visiteur est qualifié pour afficher la campagne et fait partie du groupe test et reçoit une expérience personnalisée ou fait partie du groupe de contrôle et ne reçoit pas d'expérience personnalisée.

• Achèvement : le visiteur atteint l'objectif sélectionné après s'être qualifié pour la campagne. De la même façon, Personnalisation calcule le revenu attribué par utilisateur pour les visiteurs qui remplissent les conditions requises pour la campagne et effectuent un achat.

• Plage de temps : pour l'attribution, Personnalisation prend en compte uniquement l'activité pendant la période que vous sélectionnez. Pour qu'un achat soit attribué, l'interaction de la campagne sélectionnée, l'impression ou le clic, et l'événement d'objectif doivent se produire pendant la période. Les événements d'objectif comprennent des achats, des clics ou la réalisation d'objectifs. Pour plus d'informations, consultez Délai d'attribution expliqué dans Statistiques de campagne.

Granularité des statistiques

Si vous voyez des différences entre l'écran de liste de campagnes et l'écran des statistiques de campagne pour la même période, c'est que les statistiques sont stockées différemment. L'écran de liste de campagnes est conçu pour charger rapidement et ne pas agréger le nombre total d'impressions, de clics, de réalisation d'objectifs et d'autres données. Il utilise également un système de comptage différent pour récupérer les données des statistiques de campagne. Le chargement de l'écran des statistiques de campagne est plus lent, mais présente des données de campagne actualisées. Les données de l'écran des statistiques de campagne sont votre source de vérité, malgré toutes les différences.

Statistiques Epoch

L'« époque statistique » d'une campagne désigne l'heure de début de la génération de ses rapports statistiques dans son itération actuelle. Lorsqu'une modification importante est apportée à une campagne, cette époque est réinitialisée à l'heure du changement, et le suivi des statistiques et les rapports reprennent à partir de ce point. Cela garantit la précision des statistiques et des calculs de confiance. Par exemple, si la configuration de l'expérience ou le pourcentage de part de contrôle par rapport au pourcentage de part de test est modifié, la signification statistique ne peut pas être calculée avec précision entre ces différentes configurations. Par conséquent, les statistiques sont rapportées uniquement pour la configuration actuelle de la campagne.

Modifications importantes qui réinitialiseront l'époque des statistiques :

• Changement de l'état d'une campagne en « Publié ».
• Modification du mode d'expérience (par exemple, d'une part de pourcentage utilisateur à une expérience basée sur des règles).
• Ajustement des pourcentages d'expérience ou de groupe témoin (par exemple, d'un groupe témoin de 5 % à 10 %).

Confiance

Pour chaque métrique calculée de façon incrémentielle, la Personnalisation montre les meilleures performances d'une expérience de campagne par rapport à la référence de comparaison sélectionnée. La confiance vous indique à quel point vous pouvez être sûr que l'expérience entraîne un résultat positif ou négatif. La personnalisation considère qu'un résultat est statistiquement fiable s'il a un taux de confiance d'au moins 95 %. Une flèche en gras lorsque vous survolez le résultat indique qu'il est statistiquement fiable.

Lorsque vous pensez à l'importance de la confiance, tenez compte des considérations ci-dessous.

• Ne tirez pas de conclusions significatives de petites quantités de données. Dans l'exemple 2 de la section Exemples, l'expérience 1 est 35 % plus performante que le témoin. Mais la confiance est de 0 %, car seulement 33 actions de personnes contribuent au taux de réalisation des objectifs, ce qui n'est pas suffisant pour être statistiquement significatif.

• Les modèles de données sont importants. Les modèles dans les données peuvent vous rendre plus ou moins sûr des résultats.

Analyse bayésienne

La personnalisation utilise l'analyse bayésienne pour calculer et mettre à jour en permanence la confiance de chaque pourcentage d'élévation.

• Si l'analyse bayésienne est supérieure à 95 %, Personnalisation indique le pourcentage de confiance et si la campagne gagne ou perd par rapport au contrôle.

• Si l'analyse bayésienne est inférieure à 95 %, la Personnalisation affiche toujours le résultat, mais indique que les résultats ne sont pas concluants.

Pour plus d'informations sur l'interprétation des données des statistiques de campagne, consultez la section Voir aussi.

Calcul de l'ascenseur : Exemple 1

Supposons que l'objectif d'une campagne de personnalisation est d'augmenter le revenu par utilisateur. Le contrôle de la campagne est une expérience sans aucune recommandation. Lorsque les visiteurs qualifiés pour la campagne affichent l'expérience de contrôle, le revenu par utilisateur est de 77,13 €. Lorsque les visiteurs qualifiés pour la campagne affichent l'expérience personnalisée, qui montre des recommandations ciblées sur les affinités et les préférences de chaque visiteur, le revenu par utilisateur est de 84,69 €. La campagne a une augmentation de 9,8 %, qui se calcule comme suit :

(84.69 - 77.13) / (77.13) = 9.8%

Calcul de l'ascenseur : Exemple 2

Examinons maintenant une autre campagne configurée en tant que test A/B. L'objectif de cette campagne de test A/B peut être tout ce que vous souhaitez améliorer sur votre site. Les objectifs comprennent :

• Augmentation des clics
• Visiteurs rejoignant un segment d'intérêt
• Acheteurs s'inscrivant à des e-mails
• Visiteurs passant un certain temps sur le site

Lorsque les visiteurs se qualifient pour cet exemple de campagne et consultent l'expérience de contrôle, ils atteignent l'objectif avec un taux de 1,01 %. Lorsque les visiteurs se qualifient pour cet exemple de campagne et affichent l'expérience personnalisée, ils atteignent l'objectif à un taux de 1,36 %. La levée est calculée en examinant le pourcentage d'augmentation de la valeur de l'objectif après l'exécution de la campagne :

[1.36- 1.01] / [1.01] = 34.9%

L'expérience personnalisée semble générer une augmentation de 34,9 %, mais les statistiques de la campagne indiquent une confiance de 0 %. Compte tenu des résultats non concluants, l'augmentation de 34,9 % ne peut pas être considérée comme un reflet précis de la réussite. Pourquoi la confiance est-elle de 0% et qu'est-ce que cela signifie? Pour plus d'informations, consultez Confiance expliquée dans les statistiques de campagne.

Comparaison des statistiques de personnalisation avec les données de rapports de fournisseurs Analytics tiers

En plus d'utiliser des statistiques de campagne de personnalisation, les organisations utilisent souvent des logiciels d'analyse tiers pour suivre l'efficacité des campagnes. Dans certains cas, les statistiques des campagnes de personnalisation peuvent différer des statistiques recueillies par des logiciels tiers. De nombreux points de données contribuent au suivi et à l'enregistrement des statistiques de campagne par la Personnalisation, notamment la configuration, le calendrier et les définitions d'un utilisateur ou d'une visite. La génération de rapports pour la personnalisation peut différer de la méthode utilisée par les fournisseurs d'analytiques pour suivre les mêmes informations, ce qui rend difficile l'identification d'une raison unique pour une incohérence. Pour plus d'informations sur l'approche Personnalisation du suivi des données et de la génération de rapports, consultez Rapports et analytiques et documentation pour développeur sur le Suivi des statistiques de campagne.