Vous êtes ici :
Outils d'observation de la phase
Une fois votre agent déployé, l'observabilité passe de l'évaluation contrôlée à la surveillance en direct. Cette phase se concentre sur l'identification et le suivi des tendances à travers toutes les sessions, l'étude de conversations spécifiques et l'exploration de ce qui s'est passé exactement au niveau de l'étape.
Éditions requises
| Disponible avec : Lightning Experience |
| Disponible avec : Enterprise Edition, Performance Edition, Unlimited Edition et Developer Edition. Les licences complémentaires requises varient selon le type d'agent. |
Agent Analytics
Agent Analytics permet de suivre les performances de votre agent au fil du temps. Il agrège les données de toutes les sessions et expose les tendances dans un ensemble de tableaux de bord piloté par Tableau Next. C'est le point de départ de toute question de la phase Observer ; regardez d'abord ici pour comprendre les tendances avant d'accéder aux outils au niveau de la session.
| Tabulation | Ce qu'il affiche | À quoi ça sert | Source de données |
|---|---|---|---|
| Vue d’ensemble | Cartes récapitulatives dans tous les domaines | Contrôle d'intégrité rapide dans toutes les dimensions en un coup d'œil | STDM + Audit et commentaires + Qualité RAG |
| Efficacité | Taux de déviation, Taux d'escalade, Taux d'abandon, Taux d'engagement, Taux de réussite, Taux de résolution des tâches | Déterminer si l'agent termine son travail et gère le volume | STDM |
| Utilisation | Sessions uniques, Interactions uniques, Utilisateurs uniques, Interactions moyennes/session | Comprendre les modèles d'adoption et d'engagement | STDM |
| Scores de qualité | Score de qualité, Fidélité de la réponse, Pertinence de la réponse, Pertinence du contexte | Évaluer la qualité de sortie LLM et la précision de récupération | Audit et commentaires + Qualité RAG |
| Santé | Latence d'interaction de l'agent, Durée de la session, Taux d'erreur | Surveiller les performances opérationnelles et la stabilité | STDM |
| Confiance | Taux de réponse d'adhérence, Score moyen de toxicité de l'agent | Vérifier si l'agent suit les instructions et respecte les limites de contenu | Audit et commentaires + Trust Layer |
| Voice | Taux d'interruption | Surveiller le flux de conversation pour les agents vocaux | STDM (agents vocaux uniquement) |
| Satisfaction des utilisateurs | Pouce les décomptes et tendances à la hausse/à la baisse | Suivre les signaux de commentaires directs des utilisateurs | Audit et commentaires (agent des employés uniquement) |
| Connaissances des performances | Répartition des métriques par sous-agent, intention ou action | Affinez une tendance à un sous-agent ou à une action spécifique avant de participer à des sessions | STDM + Audit et commentaires |
Connaissances des performances
Performance Insights est l'étape entre l'affichage d'une tendance et l'exploration des sessions. Avant d'ouvrir l'Optimisation de l'agent, utilisez-la pour ventiler n'importe quelle métrique par sous-agent, intention ou action, afin de déterminer où chercher exactement plutôt que de consulter les sessions au hasard.
Consultez Agent Analytics pour les exigences et les autorisations de configuration.
Optimisation de l'agent
Lorsque Analytics expose un modèle et que vous devez comprendre ce qui le motive, l'optimisation de l'agent est votre prochaine étape. Il permet de visualiser les conversations agent-utilisateur individuelles, en filtrant, parcourant et ouvrant des sessions spécifiques pour observer ce qui s'est réellement passé. Deux vues :
- Sessions traitées : intention extraite, clusterisée et score de qualité. Disponible 4 à 5 heures après la fermeture de la session. Colonnes de tableau : ID de session, horodatage, durée, résultat, étiquettes de score personnalisées, résumé des intentions, résumé des réponses, sous-agents déclenchés, actions déclenchées, balise d'intention, score de qualité.
- Sessions non traitées : actives, récentes ou en cours de traitement. L'onglet Trace est immédiatement disponible. Il n'est pas nécessaire d'attendre le début du débogage du traitement des intentions.
Le clustering d'intentions est ce qui sépare la détection de schémas de l'examen session par session. Le pipeline de clustering est exécuté toutes les semaines et regroupe les intentions similaires par similarité sémantique lorsqu'une balise cluster accumule 10 intentions correspondantes ou plus. Une fois les clusters formés, vous pouvez filtrer par cluster pour exposer toutes les sessions dans lesquelles les utilisateurs ont demandé la même chose de différentes façons, le chemin le plus rapide pour identifier les modèles d'échec systématiques plutôt que de réviser les sessions individuellement.
Indicateurs de performance clés exposés : Impact des agents et Efficacité des agents : résultat au niveau de la session, score de qualité et modèles d'intention.
Ce qu'il ne peut pas faire : Agrégez les métriques entre les sessions (utilisez Analytics). Les sessions par e-mail en temps réel ne sont pas immédiatement reflétées.
Il expose les résultats au niveau de la session, le score de qualité et les modèles d'intention. Consultez Optimisation des agents pour les colonnes et les filtres de session actuels.
Onglet Résumé des interactions
Lorsque vous ouvrez une session dans Optimisation de l'agent et sélectionnez une intention, l'onglet Résumé des interactions présente une répartition structurée de ce qui s'est passé pour cette intention :
- Nom de l'agent, latence moyenne de l'agent (ms), nombre total d'interactions, durée de l'intention
- Rubriques (sous-agents) déclenchées, actions déclenchées
- Balise d'intention, score de qualité (élevé/moyen/faible)
- Raisonnement du score de qualité : une explication générée par le grand livre des raisons pour lesquelles le score de qualité a été attribué
Le raisonnement du score de qualité est ce qui convertit un score en direction. Pour un score de faible qualité, le champ de raisonnement indique souvent directement ce que l'évaluateur a trouvé — mauvais sous-agent, réponse incomplète, instruction manquée, échec de récupération — en langage naturel. C'est le chemin le plus rapide entre « la qualité est faible » et « voici ce qu'il faut examiner », avant d'ouvrir l'onglet Tracer.
Elle n'est pas disponible tant que le traitement des intentions n'est pas terminé (4 à 5 heures après la session). Pour un débogage immédiat, commencez par l'onglet Tracer.
Onglet Tracer
Également accessible depuis une session dans Optimisation de l'agent, l'onglet Trace affiche un enregistrement chronologique de chaque étape de traitement : identification des sous-agents, sélection d'actions, acheminement, mises à jour de variables, récupération et génération de réponses. Chaque étape affiche un indicateur de statut et un calendrier, et les étapes imbriquées peuvent être agrandies pour la délégation de sous-agents.
L'onglet Trace est l'outil principal d'analyse des causes premières. Tous les autres outils indiquent ce qui se passe, par exemple un déplacement de métrique, une baisse du score de qualité ou un échec de session. L'onglet Trace indique où et pourquoi, y compris quelle étape a échoué, quel était le message d'erreur, où le temps a été passé et ce que la récupération a renvoyé.
Types d'étape : traitement des intentions, acheminement des sous-agents, filtres, récupérations, mises à jour de variables et exécution d'actions. Chaque étape a des dates de début et de fin et ErrorMessageText. Pour des déploiements multi-agents (SOMA), agrandissez n'importe quelle étape dans laquelle un sous-agent a été invoqué pour explorer des étapes imbriquées.
Utilisation d'erreurs : Interrogez ErrorMessageText dans AiAgentInteractionStepDmo__dlm via SOQL et excluez les valeurs sentinelles (NOT_SET, None, chaîne vide) pour isoler les erreurs réelles.
Indicateurs de performance clés exposés : Latence au niveau de l'étape de la zone de résultat Santé de l'agent, emplacement de l'erreur et séquence d'exécution.
Disponible immédiatement, même pour des sessions non traitées. N'attendez pas le traitement des intentions si vous devez déboguer immédiatement.
Surveillance de l'état de santé des agents
Agent Health Monitoring détecte les défaillances silencieuses des agents, telles que les taux d'erreur élevés, la latence élevée ou les taux de réponse décroissants, et vous notifie en temps quasi réel avant qu'elles ne s'aggravent dans l'impact sur les clients. Lorsque Agent Analytics expose des tendances au fil du temps, Health Monitoring est conçu pour répondre rapidement : Définissez des seuils pour les métriques importantes pour votre déploiement, recevez des notifications lorsqu'elles sont enfreintes et explorez les traces de session pour en trouver la cause.
| Métrique | Indique |
|---|---|
| Taux d'erreur de l'agent | Pourcentage d'interactions qui contiennent une erreur |
| Latence moyenne des interactions | Temps moyen (ms) nécessaire à l'agent pour répondre à une interaction |
| Taux d'escalade | Pourcentage des interactions qui ont escaladé vers un humain |
| Taux de réponse des agents | Pourcentage de tours utilisateur ayant reçu une réponse de l'agent dans les 60 secondes |
Ces métriques sont également visualisées dans le sous-onglet Santé d'Agent Analytics.
Alertes
Chaque alerte surveille une métrique pour un agent. Le système évalue les alertes toutes les minutes par rapport aux 15 minutes précédentes de données et envoie une notification par e-mail lorsqu'un seuil est franchi. Lorsqu'une notification est déclenchée, la même alerte s'interrompt pendant 30 minutes avant de pouvoir la notifier de nouveau.
Les notifications lient directement l'alerte aux sessions qui l'ont déclenchée. Chaque notification affiche la session affectée. Vous pouvez ainsi accéder directement à la trace sans effectuer de recherche. Consultez Surveillance de l'intégrité des agents pour les exigences et les autorisations de configuration.
Surveillance des garde-fous des agents
Surveillez les garde-fous des agents pour observer une vue précise de l'adhésion aux instructions et de la résolution des tâches. Les sorties Trust Layer sont exposées sous forme de métriques de surveillance dédiées, séparées de la vue Analytics plus large. Pour les déploiements où la conformité des garde-fous est une exigence suivie (secteurs réglementés, application de la politique d'entreprise, sécurité de la marque), vous obtenez des tendances en matière d'adhésion aux instructions et de résolution des tâches à un emplacement unique, distinct des signaux de performance et de qualité.
Indicateurs de performance clés exposés : Domaine de résultat Santé de l'agent : adhésion aux instructions et résolution des tâches.
Consultez Surveiller les garde-fous des agents pour les métriques actuelles.
Surveillance de votre agent vocal
Pour les déploiements vocaux, les superviseurs peuvent surveiller en temps réel les appels actifs via l'onglet Agentforce dans Superviseur Omni (console Service Cloud). Il est différent de l'onglet Voice dans Analytics, qui affiche les données agrégées historiques. Omni Supervisor permet de regarder l'activité en direct, pas de réviser les sessions passées.
L'onglet Agentforce dans Superviseur Omni affiche la liste des agents en appel actif et les transcriptions d'appels en direct. On y accède via la console Service Cloud, pas Agentforce Studio.
Indicateurs de performance clés exposés : Domaine de résultat Santé de l'agent : statut et transcription des appels en direct, en temps réel, pas historique. Consultez Surveillance de votre agent vocal pour la configuration et le superviseur.
Éditeur de requête et rapports Data 360
Pour les questions auxquelles l'interface utilisateur du produit ne répond pas, l'éditeur de requête Data 360 vous accorde un accès SQL direct aux données sous-jacentes. Interrogez en utilisant des objets modèle de données (DMO), point d'entrée sémantique des données, entre les quatre couches : STDM, Audit et commentaires, RAG Quality et Agent Optimizer.
Vous pouvez également élaborer des rapports dans Data 360 qui extraient des informations pertinentes des objets modèle de données applicables. Pour plus d'informations, notamment les autorisations requises, consultez Rapports et tableaux de bord Data 360.
Objets modèle de données de traçage de session (STDM) :
AiAgentSessionDmo— faits au niveau de la session: type de canal, type de fin de session, ID de session Voice/Messagerie associésAiAgentSessionParticipantDmo— qui a rejoint: nom d'API contact, piste, utilisateur, agentAiAgentInteractionDmo— un tour; comprendTopicApiName(le sous-agent qui s'en est occupé)AiAgentInteractionStepDmo— une étape discrète avec des dates et desErrorMessageTextde début et de finAiAgentInteractionMessageDmo— texte d'entrée/sortie réel
DMO Audit et commentaires :
GenAiGatewayRequest— l'invite et le contexte envoyés au LLMGenAiGatewayResponse— la réponse du LLMGenAiResponseGeneration— métadonnées au niveau de la générationGenAiFeedback— signaux de rétroaction des utilisateursGenAiContentQuality— scores d'évaluation de la qualitéGenAiContentQualityCategory— classifications de catégories de contenu
Qualité RAG:
AIRetrieverRequest(DLO) : la requête de récupération envoyée à la source KnowledgeAIRetrieverResponse(DLO) : le contexte récupéré renvoyéAIRetrieverQualityMetric(DMO) : scores de fidélité à la réponse, de pertinence de la réponse et de pertinence du contexte
Pour les objets Agent Optimizer, consultez Modèle de données Agent Optimization.
Indicateurs de performance clés exposés : Tous les domaines de résultat : tous les indicateurs de performance clés dérivables des données brutes dans les quatre couches d'infrastructure.
L'étape suivante consiste à les connecter à des surfaces. Vous avez défini la réussite pour votre agent et vous savez ce que la chaîne d'outils peut révéler. Le travail consiste maintenant à élaborer un plan qui mappe vos zones de résultat avec les signaux appropriés et les signaux appropriés avec les outils appropriés. Ce plan est ce qui transforme l'observabilité d'un ensemble de fonctionnalités en pratique répétitive.
