Test des prédictions d'intention multiples

Utilisez des tests en masse pour :

• Évaluer jusqu'à 1000 énoncés dans une seule requête
• Comparer les intentions attendues et prédites
• Examiner les scores de confiance de chaque prédiction
• Analyser les performances globales en utilisant des métriques récapitulatives

Vous pouvez effectuer des tests en masse de deux façons :

• Test des énoncés personnalisés : Fournissez un jeu de données d'énoncés et d'intentions attendues pour évaluer des scénarios spécifiques.
• Test en utilisant les données de robot existantes : Évaluez tous les énoncés déjà configurés dans le robot pour générer un résumé complet des performances.

Ces deux approches correspondent à des points de terminaison d'API différents.

Avant de commencer, activez Robots Einstein et Einstein pour Intentions, puis élaborez votre modèle. Activez l'autorisation pilote Testeur d'entrée par lot, puis activez le modèle d'intention interlinguistique (Intent V3) dans la page Vue d'ensemble du robot.

Remarque Contactez le Support client de Salesforce pour activer l'autorisation pilote Testeur d'entrée par lot. Si vous désactivez le modèle d'intention interlinguistique, Salesforce élabore votre modèle en utilisant Intent Standard V2 (pour les langues uniques) ou Intent Multi-Language 2.5 (pour les langues multiples).

Fonctionnement du test en masse

Le test en masse évalue les énoncés par rapport au modèle d'intention de votre robot et renvoie :

• Vous initiez une demande d'évaluation avec un ensemble d'énoncés ou une version de robot sélectionnée.
• Le modèle d'intention traite chaque énoncé et prédit l'intention la plus pertinente.
• Le système compare l'intention prédite à l'intention attendue, lorsqu'elle est fournie.
• Le système attribue un score de confiance et une note à chaque prédiction.
• Le système génère un résumé des prédictions avec des métriques de performance globales.
• Le système renvoie des résultats consolidés pour tous les énoncés évalués.

Compréhension des résultats de prédiction

Pour comprendre avec quelle précision le robot classe les énoncés et identifier les zones à améliorer, consultez les résultats de la prédiction.

Résultats par énoncé. Pour chaque énoncé, le système renvoie :

• Intention prédite : L'intention identifiée par le modèle
• Résultat de la prédiction : Indique si l'intention prédite correspond à l'intention attendue (réussite, échec ou non traitée)
• Score de confiance : Indique la probabilité que la prédiction soit correcte

Métriques récapitulatives. Le système fournit des métriques agrégées qui aident à évaluer le rendement global :

• Taux de réussite : Pourcentage d'énoncés correctement prédits
• Nombre d'échecs : Nombre d'énoncés prédits incorrectement
• Taux de couverture des intentions : Pourcentage d'intentions correctement prédites pour au moins un énoncé
• Nombre d'erreurs : Nombre d'énoncés que le robot n'a pas pu traiter

Considérations

Tenez compte des considérations suivantes lorsque vous utilisez des tests en masse :

• Vous pouvez évaluer jusqu'à 1000 énoncés à la fois.
• Les résultats dépendent de la qualité des données d'entraînement des intentions.
• Examinez les prédictions échouées pour améliorer la précision des intentions.
• Les erreurs des énoncés individuels n'arrêtent pas l'évaluation globale.

Pour plus d'informations sur l'API, consultez Ressources de prédiction d'intention d'énoncé de robot dans le Connect REST API Developer Guide.