Vous êtes ici :
Élaboration et test d'outils d'observabilité
Les outils Élaborer et Tester permettent d'observer le comportement des agents pendant le développement, avant l'existence d'un trafic de production. Les tests dans Agentforce Builder permettent d'itérer rapidement sur des conversations individuelles, tandis que le Centre de test automatise les tests à grande échelle.
Éditions requises
| Disponible avec : Lightning Experience |
| Disponible avec : Enterprise Edition, Performance Edition, Unlimited Edition et Developer Edition. Les licences complémentaires requises varient selon le type d'agent. |
Les outils Build & Test permettent d'observer le comportement des agents pendant le développement, avant l'existence d'un trafic de production. Les tests dans le Générateur permettent d'itérer rapidement sur des conversations individuelles, tandis que le Centre de test automatise les tests à grande échelle et à travers une gamme d'entrées.
Agentforce Builder
Agentforce Builder permet de développer et d'itérer sur votre agent avant qu'il soit prêt pour un test ou un déploiement plus large. L'aperçu permet d'exécuter des conversations tests en temps réel et d'observer exactement comment l'agent répond. Vous pouvez prévisualiser les conversations en mode simulation ou test en direct :
- Simuler simule le comportement conversationnel de base des agents sans écrire ni modifier les données. Utilisez-le pour valider des ajustements rapides sans toucher aux enregistrements live.
- Live Test exécute des actions sur des données réelles de bout en bout. Utilisez-le pour confirmer que les actions sont correctement déclenchées et que les enregistrements sont mis à jour comme prévu. Ce mode offre une vue d'ensemble complète du comportement réel de votre agent.
Pour chaque conversation d'aperçu, le Générateur vous offre plusieurs outils d'enquête. Les résultats sont immédiats et au niveau de la session, y compris l'acheminement des sous-agents, l'exécution d'actions et la qualité des réponses pour la conversation testée. Commencez par le Résumé des interactions, puis approfondissez si nécessaire.
Résumé d’interaction
Le point de départ de toute enquête d'aperçu. Disponible pour chaque tour de conversation pendant la conversation, il n'est pas nécessaire d'attendre qu'elle soit terminée. Il présente une vue d'ensemble des mesures prises par votre agent pour générer une réponse, y compris le résultat de chacune. Survolez une étape pour plus de détails. Il inclut également une explication générée par l'IA du processus de votre agent, qui permet de replacer les étapes dans leur contexte. En cas de doute sur la signification d'un résultat, Agentforce peut expliquer le comportement de votre agent, suggérer les étapes à suivre ou apporter des correctifs aux agents. Lorsqu'un problème se produit ici, l'onglet Trace est plus détaillé.
Onglet Tracer
Affiche les données de trace complètes de cette étape, y compris chaque événement de l'agent, le temps écoulé et les détails techniques. Explorez n'importe quel événement de l'agent pour ouvrir une vue JSON de l'invite LLM complète de l'agent, y compris les invites système.
Pour prévisualiser et tester votre agent dans Agentforce Builder, consultez Agentforce Builder Testing.
Centre de test et scoreurs
Le Centre de test est l'endroit où le côté pré-déploiement de la boucle d'observabilité prend forme. C'est là que vous vérifiez les performances de votre agent avant l'intervention des clients, établissez les niveaux de référence de qualité et de performance auxquels vous comparerez les signaux de production, et définissez les scores qui sont transférés dans Analytics après le déploiement, fermant la boucle entre les signaux de données avant et après le déploiement.
Dans le Centre de test, vous pouvez tester le comportement des sous-agents, l'exécution d'actions, la récupération Knowledge, les modèles d'invite et des critères personnalisés spécifiques à vos besoins. Les résultats du test exposent la qualité de la réponse, la justesse des sous-agents et des actions, l'adhésion aux instructions et la latence, le tout avant le déploiement, par cas de test.
Buteurs
Les scores sont les critères d'évaluation que le Centre de test utilise pour évaluer la sortie des agents. Beaucoup sont mappées directement avec les métriques que vous allez surveiller dans Agent Analytics, et les configurations de scoreur personnalisées sont reportées en tant qu'indicateurs de performance clés de production après le déploiement.
| Niveau | Buteurs | Ce qu'il évalue |
|---|---|---|
| Par défaut | Score de réponse, Assertion de sous-agent, Assertion d'action | Si le sous-agent approprié a été sélectionné, l'action appropriée déclenchée et la réponse acceptable. |
| Qualité | Exhaustivité, Cohérence, Concision, Latence, Adhérence aux instructions | Comme la réponse était bonne, pas seulement si elle a réussi. Ces dimensions distinctes comprennent la cohérence, l'exhaustivité, la concision, la latence et l'adhésion aux instructions. |
| Personnalisé | Les critères de votre déploiement nécessitent que les scoreurs par défaut ne puissent pas couvrir, par exemple, la voix de la marque, la précision du domaine, le ton ou la conformité spécifique au cas d'utilisation. | |
| Étiquettes définies par l'utilisateur | Renvoie une valeur d'une liste que vous définissez. Utilisé pour la classification, les sorties de style énumération ou les étiquettes de conformité telles que la réussite/échec de la voix de la marque, les catégories de réponse approuvées et similaires. | |
| Ouverture définie par l'utilisateur | Renvoie une sortie non contrainte, un texte, un chiffre, une URL. Utilisé lorsque vous avez besoin de résultats plus riches ou exploratoires qu'une liste fixe ne peut capturer. | |
| Modèle d'invite | Cohérence, Concision, Exhaustivité, Faitualité, Suivi des instructions, Correspondance des réponses | Qualité de sortie pour les exécutions de test de modèle d'invite, y compris la factualité, la correspondance des réponses et les dimensions de qualité standard appliquées aux sorties de modèle. |
Pour configurer et exécuter des tests dans le Centre de test, voir Configuration et exécution de tests dans Agentforce Studio (bêta).
