Sie befinden sich hier:
Grundlegendes zu KPIs und Tools für die Agentforce-Beobachtbarkeit
Die Beobachtbarkeit ist kein einzelnes Tool. Hierbei handelt es sich um eine mehrschichtige Toolchain, die eine Infrastruktur zum Erfassen der Agentenaktivität, Entwicklungstools zum Testen Ihrer Agentenbereitstellung und Überwachungstools zum Aufzeigen von Trends und Details auf Sitzungsebene nach der Bereitstellung enthält.
Erforderliche Editionen
| Verfügbarkeit: Lightning Experience |
| Verfügbarkeit: Enterprise, Performance, Unlimited und Developer Edition. Erforderliche Add-On-Lizenzen variieren je nach Agententyp. |
Wenn Sie wissen, welche Schicht was bewirkt, können Sie Ihren Agenten von der Erstellung über die Produktion hinweg beobachten. In diesem Artikel wird die vollständige Toolchain zugeordnet und jeder Abschnitt enthält Links zu mehr Details.
Infrastruktur
Bevor ein Beobachtungstool Daten anzeigen oder verarbeiten kann, benötigen sie die zugrunde liegende Agenten-Telemetrieinfrastruktur. Aktivieren Sie diese Tools, damit der Rest der Toolchain über Daten zum Arbeiten verfügt.
| Tool | Wo sie angezeigt wird | Beschreibung |
|---|---|---|
| Agentforce-Sitzungsverfolgung | Setup → Agentforce → Agentforce Session Tracing | Erfasst jede Runde, jeden Argumentationsschritt, jede Aktion und jede Nachricht für jede Agentensitzung. Dies muss aktiviert werden, bevor ein anderes Beobachtbarkeitstool über Daten verfügt. |
| Plattformverfolgung für Agenten | Setup → Schnellsuche → Generative AI von Einstein → Setup für Einstein Audit, Analytics und Überwachung → Umschalter für Agentenplattformverfolgung | Erfasst Telemetrie auf Serviceebene über Atlas Reasoning Engine, Apex, Flows, Eingabeaufforderungsgenerator, aufrufbare Aktionen, AI Gateway, LLM Gateway und DC Query Federator hinweg. |
| Audit und Feedback | Setup → Schnellsuche → Einstein Audit → Einstein Audit, Analytics und Monitoring Setup | Erfasst LLM-Ein-/Ausgaben, Abrufqualitätsdaten, Trust Evaluations, Leitplankenausgaben und Benutzerfeedbacksignale. Unterstützt die Qualitätsbewertungen und Trust in Agent Analytics. |
| Knowledge/RAG-Qualitätsdaten und Kennzahlen | "Setup" → "Schnellsuche" → "Einstein Audit" → "Setup für Einstein Audit, Analytics und Überwachung" → "Knowledge/RAG-Qualitätsdaten und -Kennzahlen" | Bewertet die Abrufqualität, beispielsweise "Antworttreue", "Antwortrelevanz", "Kontextrelevanz", die über die Pipeline "Aktivierung und Feedback" verarbeitet wird. Steuert die Abrufkennzahlen in den Qualitätsbewertungen. |
| Trust Layer | Setup → Schnellsuche → Einstein → Einstein Trust Layer | Bewertet die Einhaltung von Anweisungen und die Toxizität, die aus LLM-Gateway-Ausgaben abgeleitet werden, die über die Pipeline für Audit und Feedback verarbeitet werden. Stellt die Trust Kennzahlen in Agent Analytics bereit. |
Machen Sie sich mit den einzelnen Tools in der Agentforce Observability Infrastructure vertraut.
Erstellen & Testen
Mit Build & Test-Tools können Sie das Verhalten von Agenten während der Entwicklung beobachten, bevor Datenverkehr in der Produktion vorhanden ist.
| Tool | Wo sie angezeigt wird | Beschreibung |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Generator | Die primäre Arbeitsumgebung für die Entwicklung und Tests von iterativen Agenten. Führen Sie Unterhaltungen im Simulate-Modus aus, ohne Daten zu schreiben, oder vergleichen Sie den Live-Test-Modus durchgängig mit realen Daten. |
| Interaktionszusammenfassung | Agentforce Studio → Generator → Vorschaubereich | Zeigt die Unteragentenauswahl, die Aktionsausführung und die Begründung für eine Testunterhaltung an. Führen Sie einen Drilldown zu einem beliebigen Element aus, um die Zeiteinteilung und die Umstellungen auf Unteragenten schrittweise vorzunehmen. |
| Testcenter | Agentforce Studio → Agentforce-Testcenter | Batch-Auswertung des Knowledge Abrufs, der Auswahl von Unteragenten und Aktionen sowie der Aufgabenlösung vor der Bereitstellung. Generiert und bewertet Äußerungen in einer Test-Suite mit Standard-, Qualitäts- und benutzerdefinierten Scorern. Benutzerdefinierte Scorer werden nach der Bereitstellung in Agent Analytics angezeigt. |
Führen Sie einen Drilldown zu jedem dieser Tools in den Tools zum Erstellen und Testen der Beobachtungsfähigkeit aus.
Beobachten
Sobald Ihr Agent bereitgestellt ist, verfolgen die Tools für die Beobachtungsphase Trends über alle Sitzungen hinweg, sodass Sie bestimmte Unterhaltungen untersuchen und Details auf Schrittebene anzeigen können.
| Tool | Wo sie angezeigt wird | Beschreibung |
|---|---|---|
| Agent Analytics | Agentforce Studio → Beobachten und Optimieren → Analytics | Aggregiert Leistungsdaten über alle Sitzungen hinweg und zeigt Trends nach Ergebnisbereich in Tableau Next-Dashboards an. Registerkarten variieren je nach Agententyp und decken Effektivität, Nutzung, Qualität, Integrität, Trust und Voice ab. |
| Agentenoptimierung | Agentforce Studio → Beobachten und Optimieren → Optimierung | Einzelsitzungsansicht mit Filterung nach Intent, Ergebnis und Qualitätsbewertung. Verarbeitete Sitzungen enthalten Intent-Clustering und Qualitätsbewertungen. Nicht verarbeitete Sitzungen sind sofort verfügbar. |
| Interaktionszusammenfassung | Agentforce Studio → Beobachten und Optimieren → Details zur Optimierungssitzung | Strukturierte Aufschlüsselung eines ausgewählten Intents mit ausgelösten Unteragenten, ausgelösten Aktionen, Qualitätsbewertung und LLM-generierten Qualitätsbewertungsgründen. |
| Spur | Agentforce Studio → Beobachten und Optimieren → Details zur Optimierungssitzung | Zeitgeordneter Datensatz jedes Verarbeitungsschritts mit Zeiteinteilung pro Schritt und Fehlertext. Sofort verfügbar, auch für Sitzungen, die noch verarbeitet werden. |
| Agentengesundheit | Agentforce Studio → Warnungen | Erstellen Sie Benachrichtigungen und legen Sie Schwellenwerte fest, damit Sie benachrichtigt werden, wenn Agentenaktivitäten gegen zulässige Werte verstoßen. |
| Überwachen von Agentenleitplanken | Agentforce Studio → Beobachten und Optimieren | Spezielle Ansicht für Trends bei der Einhaltung von Anweisungen und der Aufgabenlösung, getrennt von der umfassenderen Analytics-Ansicht. |
| Überwachen Ihres für Voice aktivierten Agenten | Registerkarte Agentforce im Omni-Supervisor (Service Cloud-Konsole) | Supervisor-Ansicht der aktiven Sprachanrufe nahezu in Echtzeit mit Live-Abschriften. |
| Data 360-Abfrage-Editor | Data 360 → Abfragen | Direkter SQL-Zugriff auf alle vier zugrunde liegenden Datenebenen für benutzerdefinierte Aggregationen, objektübergreifende Verknüpfungen und Analysen, die auf der Produktoberfläche nicht angezeigt werden. |
Führen Sie einen Drilldown zu jedem dieser Tools in den Tools zur Beobachtungsphasenbeobachtung aus.
Die Toolchain funktioniert am besten nacheinander. Beginnen Sie mit "Infrastruktur", um sicherzustellen, dass Daten fließen, verwenden Sie "Erstellen und testen", um Probleme vor der Bereitstellung zu erkennen, und verwenden Sie "Beobachten", um die Leistung zu verfolgen und nach der Bereitstellung zu untersuchen.
