Sie befinden sich hier:
Erstellen und Testen von Beobachtbarkeitstools
Mit den Tools "Erstellen" und "Testen" können Sie das Verhalten von Agenten während der Entwicklung beobachten, bevor Datenverkehr in der Produktion vorhanden ist. Durch das Testen im Agentforce Builder können Sie einzelne Unterhaltungen schnell durchlaufen, während das Testcenter Tests im richtigen Maßstab automatisiert.
Erforderliche Editionen
| Verfügbarkeit: Lightning Experience |
| Verfügbarkeit: Enterprise, Performance, Unlimited und Developer Edition. Erforderliche Add-On-Lizenzen variieren je nach Agententyp. |
Mit Build & Test-Tools können Sie das Verhalten von Agenten während der Entwicklung beobachten, bevor Datenverkehr in der Produktion vorhanden ist. Mit dem Testen im Generator können Sie einzelne Unterhaltungen schnell durchlaufen, während das Testcenter Tests im richtigen Maßstab und über eine Reihe von Eingaben hinweg automatisiert.
Agentforce Builder
Im Agentforce Builder entwickeln und durchlaufen Sie Ihren Agenten, bevor er für umfassendere Tests oder Bereitstellungen bereit ist. Mit der Vorschau können Sie Testunterhaltungen in Echtzeit ausführen und genau beobachten, wie der Agent antwortet. Sie können eine Vorschau von Unterhaltungen im Simulations- oder Live-Testmodus anzeigen:
- Simulieren Sie grundlegendes Agentenunterhaltungsverhalten, ohne Daten schreiben oder ändern zu müssen. Damit können Sie schnelle Anpassungen validieren, ohne Live-Datensätze zu berühren.
- Live-Test führt durchgängig Aktionen für reale Daten aus. Verwenden Sie diese Option, wenn Sie bestätigen müssen, dass Aktionen ordnungsgemäß ausgelöst und Datensätze wie erwartet aktualisiert werden. Dieser Modus bietet Ihnen ein möglichst vollständiges Bild des tatsächlichen Verhaltens Ihres Agenten.
Für jede Vorschauunterhaltung bietet Ihnen der Generator verschiedene Tools, um zu untersuchen, was passiert ist. Die Ergebnisse sind auf Sitzungsebene und sofort, einschließlich der Weiterleitung von Unteragenten, der Ausführung von Aktionen und der Antwortqualität für die zu testende Unterhaltung. Beginnen Sie mit der Interaktionszusammenfassung und gehen Sie dann nach Bedarf tiefer.
Interaktionszusammenfassung
Der Ausgangspunkt für jede Vorschauuntersuchung. Verfügbar für jede Unterhaltungsrunde während der Unterhaltung – Sie müssen nicht warten, bis sie abgeschlossen ist. Sie bietet eine allgemeine Übersicht über die Schritte, die Ihr Agent zum Generieren einer Antwort unternommen hat, einschließlich der Ergebnisse der einzelnen. Bewegen Sie den Mauszeiger über einen beliebigen Schritt, um weitere Details zu erhalten. Sie enthält auch eine AI-generierte Erläuterung des Prozesses Ihres Agenten, mit der die Schritte in den Kontext gestellt werden können. Wenn Sie sich nicht sicher sind, was ein Ergebnis bedeutet, kann Agentforce das Verhalten Ihres Agenten erläutern, nächste Schritte vorschlagen oder Agentenkorrekturen vornehmen. Wenn hier etwas falsch aussieht, wird auf der Registerkarte "Verfolgung" ausführlicher darauf eingegangen.
Registerkarte 'Verfolgung'
Zeigt die vollständigen Verfolgungsdaten für diesen Schritt an, einschließlich der einzelnen Agentenereignisse, der verstrichenen Zeit und der technischen Details. Untersuchen Sie ein Agentenereignis, um eine JSON-Ansicht der vollständigen LLM-Aufforderung des Agenten zu öffnen, einschließlich Systemaufforderungen.
Informationen zur Vorschau und zum Testen Ihres Agenten im Agentforce Builder finden Sie unter Agentforce Builder Testing.
Testcenter und Scorer
Im Testcenter nimmt die Seite vor der Bereitstellung der Beobachtbarkeitsschleife Gestalt an. Hier bestätigen Sie die Leistung Ihres Agenten im richtigen Maßstab, bevor Kunden beteiligt werden, legen die Qualitäts- und Leistungsgrundlagen fest, mit denen Sie Produktionssignale vergleichen, und definieren die Scorer, die nach der Bereitstellung in Analytics übertragen werden, wodurch die Schleife zwischen Datensignalen vor und nach der Bereitstellung geschlossen wird.
Im Testcenter können Sie das Verhalten von Subagenten, die Ausführung von Aktionen, Knowledge Retrieval, Aufforderungsvorlagen und benutzerdefinierte Kriterien testen, die speziell auf Ihre Anforderungen zugeschnitten sind. Die Testergebnisse zeigen die Antwortqualität, die Korrektheit von Subagenten und Aktionen, die Einhaltung von Anweisungen und die Latenz, alles vor der Bereitstellung, pro Testfall.
Scorer
Scorer sind die Bewertungskriterien, die das Testcenter zur Bewertung der Agentenausgabe verwendet. Viele werden direkt den Kennzahlen zugeordnet, die Sie in Agent Analytics überwachen, und benutzerdefinierte Scorer-Konfigurationen werden nach der Bereitstellung als Produktions-KPIs übernommen.
| Klasse | Bewertung | Was sie auswertet |
|---|---|---|
| Standard | "Antwortbewertung", "Behauptung von Subagenten", "Aktionsbehauptung" | Unabhängig davon, ob der richtige Unteragent ausgewählt, die richtige Aktion ausgelöst und die Antwort akzeptiert wurde. |
| Qualität | Vollständigkeit, Kohärenz, Prägnanz, Latenz, Anweisungstreue | Wie gut die Antwort war, nicht nur, ob sie bestanden hat. Dazu zählen Kohärenz, Vollständigkeit, Prägnanz, Latenz und die Einhaltung von Anweisungen als unterschiedliche Dimensionen. |
| Benutzerdefiniert | Kriterien, die für Ihre Bereitstellung erforderlich sind und die von Standardbewertungen nicht abgedeckt werden können, beispielsweise Markenstimme, Domänengenauigkeit, Ton oder anwendungsfallspezifische Compliance. | |
| Benutzerdefinierte Bezeichnungen | Gibt einen Wert aus einer von Ihnen definierten Liste zurück. Wird für Klassifizierungen, Ausgaben im Enumerationsstil oder Compliance-Bezeichnungen verwendet, beispielsweise Markensprachausgabe/Fehler, genehmigte Antwortkategorien und ähnliches. | |
| Benutzerdefiniert offen | Gibt eine uneingeschränkte Ausgabe, Text, eine Zahl, einen URL zurück. Wird verwendet, wenn Sie umfangreichere oder explorative Ergebnisse benötigen, die von einer festen Liste nicht erfasst werden können. | |
| Aufforderungsvorlage | Kohärenz, Prägnanz, Vollständigkeit, Faktizität, Anweisungen folgen, Antwortübereinstimmung | Ausgabequalität für Aufforderungsvorlagen-Testläufe, einschließlich Faktizität, Antwortabgleich und der auf Vorlagenausgaben angewendeten Standardqualitätsdimensionen. |
Informationen zum Einrichten und Ausführen von Tests im Testcenter finden Sie unter Einrichten und Ausführen von Tests in Agentforce Studio (Beta).
