Buteurs et buteurs personnalisés (bêta)

Affichage des scores dans Optimisation et Analytics

• Test Next Gen : créez des scores personnalisés dans le cadre d'une série de tests nouvelle ou existante, affinez-la et publiez-la.
• Scorer Hub (Agentforce Studio) — emplacement central pour afficher, activer et gérer les scoreurs.
• Tableau Sessions et intentions : les sessions affichent les résultats du scoreur, filtrent et analysent par dimensions de scoreur personnalisées.
• Page Session : les sessions affichent les étiquettes et les scores des buteurs associés.
• Tableaux de bord Analytics : les mesures de score personnalisées sont affichées sous forme de métriques pour les rapports.

Considerations and Limitations

• Disponible dans Lightning Experience avec les éditions Enterprise, Performance et Unlimited avec Salesforce Foundations ou Agentforce 1 Edition où l'Optimisation des agents et Analytics sont activés.
• Les Scoreers personnalisés sont en version bêta et ne nécessitent aucune licence supplémentaire en dehors d'Agentforce.
• Pendant la version bêta, seuls les scoreurs au niveau de la session sont pris en charge.
• Les scoreurs personnalisés ne sont pas pris en charge pour les types d'agent Agentforce Employee Agent (AEA).
• Le type d'agent SDR est affiché dans la plate-forme de score, mais pas dans la liste déroulante de l'agent de l'interface utilisateur d'optimisation.
• Des scores standard (A&D, Score de qualité) sont créés lors du provisionnement de STDM. S'ils sont manquants, vérifiez s'il y a un problème de provisionnement.
• Vous devez cloner un scoreur standard avant de le modifier. La modification directe n'est pas prise en charge pendant la version bêta.
• Les scoreurs basés sur l'expression nécessitent un type de sortie booléen.
• Les scores numériques sur une échelle de 0 à 1 ne sont pas recommandés, car les grands modèles de langage sont peu performants sur des plages numériques très étroites.
• Les sessions du Centre de test ne sont pas notées par des scoreurs personnalisés. Les sessions du Centre de test ne reçoivent pas d'horodatage de fin. Par conséquent, l'action de données qui déclenche l'évaluation personnalisée du scoreur n'est jamais déclenchée.

Vue d’ensemble

Les scoreurs évaluent les sessions des agents et génèrent des scores, des dimensions (valeurs de texte) et des mesures (valeurs numériques). Ils font partie de l'Optimisation et de l'observabilité Agentforce. Ils sont exécutés automatiquement contre un pourcentage configurable de sessions et exposent les résultats dans Optimisation et Analytics. Les administrateurs et les développeurs peuvent ainsi améliorer en permanence les performances des agents.

Il existe deux types de scoreurs :

• Les scoreurs standard sont fournis par Salesforce prêts à l'emploi.
• Les scorers personnalisés sont définis par votre organisation pour évaluer des critères spécifiques à votre activité.

Scoreurs standard

Les scores standard sont des évaluations prédéfinies qui sont automatiquement créées avec le provisionnement STDM. Ils sont exécutés sur des sessions d'agent sans configuration client supplémentaire.

Scoreurs standard actuels

• Score d'abandon : indique si le client a terminé la session prématurément avant que l'agent ait résolu son problème.
• Score de déviation : indique si l'agent a dévié avec succès une interaction pour ne pas nécessiter une escalade humaine.
• Score de qualité : mesure la qualité globale de la session sur la base de critères Salesforce prédéfinis.

Les scoreurs standard utilisent un emplacement réservé dans l'interface utilisateur et sont séparés de la liste des scoreurs personnalisée.

Important

Vous ne pouvez pas modifier directement un score standard. Clonez-le pour créer une version personnalisée avec une logique modifiée.

Scoreurs personnalisés

Les scoreurs personnalisés permettent de définir une logique d'évaluation et de l'appliquer à des sessions. Ils utilisent une approche LLM en tant que juge (évaluation basée sur l'invite) ou une logique basée sur l'expression pour étiqueter, noter ou classer les sessions par rapport à vos critères.

Remarque

Vous créez des scores personnalisés dans Test Next Gen (NGT) dans Agentforce Studio. Voir Configuration et exécution de tests dans Agentforce Studio (bêta). Pour plus d'informations, consultez Tests de nouvelle génération sur Slack.

Les scoreurs personnalisés sont exécutés par rapport aux sessions, et exposent les scores personnalisés et les dimensions dans Observabilité.

Fonctionnement des scoreurs personnalisés

Un scoreur personnalisé est soutenu par un modèle d'invite qui est automatiquement exécuté en tant que tâche par lot à la fin de la session. Lorsqu'un scoreur est exécuté sur une session, la session est associée à ce scoreur, et les étiquettes et les scores sont affichés dans Optimisation et Analytics.

• Un scorer est un modèle d'invite exécuté sur un pourcentage configurable de sessions (exemple de taux).
• Les scores sont appliqués à la fin de la session, pas pendant la conversation en direct. Les sessions doivent recevoir un horodatage de fin pour que l'action de données de score se déclenche.
• Les résultats sont affichés dans Observabilité sous forme de mesures personnalisées.
• Vous pouvez également déclencher des marqueurs manuellement en utilisant l'action invocable executeAgentforceScoresJob.
• Les scoreurs n'affectent pas la latence ou les performances de l'agent pendant les conversations en direct, car le score est exécuté après la fin de la session.

Configuration du scoreur

Champs clés

Règles de validation

• La scorerApiName ne doit pas déjà exister.
• Les promptTemplateRef doivent exister et être actifs.
• Pour le type de données Texte : Les valeurs de score doivent exister ; une valeur exacte doit avoir isFallback: true ; une valeur exacte doit avoir isSystemFallback: true (uniquement lorsque isFallback est également vrai).
• Pour Type de données numérique : aucune valeur de repli ; les valeurs doivent être analysées en tant que doubles valides. Si vous utilisez valuesSpecification : La step doit être supérieure à 0; la min doit être inférieure à max; la threshold est facultative mais doit être comprise entre min et max.
• Nombre maximal de valeurs de score : 101.

Types de sortie

• Texte (étiquettes) : le scoreur attribue l'une des étiquettes de chaîne prédéfinies à chaque session (par exemple, Résolu, Abandonné ou Escaladé). Utiliser pour la classification par catégorie.
• Numérique : le scoreur renvoie un chiffre dans une plage définie (par exemple 0 à 5). Adapté aux évaluations de qualité et aux scores continus. Les LLM sont généralement plus performants sur des échelles discrètes (telles que 0 à 5) que sur des plages étroites de 0 à 1.
• Booléen (étirable ou futur) : renvoie true ou false. Pris en charge pour les scoreurs basés sur l'expression.

Exécution de scoreurs en production

Activation depuis l'onglet Buteur

Après avoir créé et testé un scoreur personnalisé, activez-le depuis la plate-forme de score dans Agentforce Optimization. L'activation permet d'exécuter le scoreur sur des sessions live au taux d'échantillonnage configuré.

Exécuter depuis Salesforce Flow

Nous fournissons une nouvelle action invocable, TriggerAgentBulkScoring, qui permet d'exécuter des scorers personnalisés de façon asynchrone sur des sessions historiques. Cette action accepte plusieurs sessions et scores et est accessible via :

• Flux Salesforce
• API REST
• Apex

Nom de l'action : TriggerAgentBulkScoring

Notes importantes

• Tous les ID et scorerApiNames de session doivent appartenir au même agent.
• Assurez-vous que la version du scoreur est Disponible avant l'exécution.

API REST

Envoyez une requête POST au point de terminaison REST de l'action standard.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Exemple de charge utile :

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Utilisez l'action invocable executeAgentforceScoresJob dans Flux. L'action accepte une liste d'ID de session et de scoreurs, et soumet une tâche au pipeline d'évaluation. Les utilisations courantes comprennent :

• Scores d'exécution sur les sessions historiques
• Analyse par lot et rapports personnalisés
• Intégration à Agentforce Grid

API de métadonnées

Créez et gérez des scorers personnalisés avec l'API de métadonnées Salesforce afin de déployer des scorers dans des workflows pro-code et DevOps, y compris des pipelines CI/CD.

Cas d'utilisation