Sie befinden sich hier:
Tools für die Beobachtungsphase
Sobald Ihr Agent bereitgestellt ist, wechselt die Beobachtbarkeit von der kontrollierten Auswertung zur Live-Überwachung. Diese Phase konzentriert sich darauf, Trends in allen Sitzungen zu identifizieren und zu verfolgen, bestimmte Unterhaltungen zu untersuchen und genau zu untersuchen, was auf Schrittebene passiert ist.
Erforderliche Editionen
| Verfügbarkeit: Lightning Experience |
| Verfügbarkeit: Enterprise, Performance, Unlimited und Developer Edition. Erforderliche Add-On-Lizenzen variieren je nach Agententyp. |
Agent Analytics
Agent Analytics ist der Ort, an dem Sie die Leistung Ihres Agenten im Laufe der Zeit überwachen. Sie aggregiert Daten über alle Sitzungen hinweg und zeigt Trends in einer Reihe von Dashboards an, die von Tableau Next unterstützt werden. Dies ist der Ausgangspunkt für jede Frage der Beobachtungsphase. Sehen Sie sich zunächst hier an, um die Trends zu verstehen, bevor Sie zu Tools auf Sitzungsebene wechseln.
| Tab | Was angezeigt wird | Wofür es ist | Datenquelle |
|---|---|---|---|
| Übersicht | Übersichtskarten für alle Bereiche | Schnelle Integritätsprüfung über alle Dimensionen hinweg auf einen Blick | STDM + Audit & Feedback + RAG-Qualität |
| Effektivität | Ableitungsrate, Eskalationsrate, Abbruchrate, Engagementrate, Erfolgsrate, Aufgabenlösungsrate | Verfolgen, ob der Agent seinen Auftrag abschließt, und Verarbeiten des Volumens | STDM |
| Verwendung | "Eindeutige Sitzungen", "Eindeutige Interaktionen", "Eindeutige Benutzer", "Durchschnittliche Interaktionen/Sitzung" | Grundlegendes zu Akzeptanz- und Engagementmustern | STDM |
| Qualitätsbewertungen | Qualitätsbewertung, Antworttreue, Antwortrelevanz, Kontextrelevanz | Bewerten der LLM-Ausgabequalität und Abrufgenauigkeit | Audit und Feedback + RAG-Qualität |
| Health (Zustand) | Agenteninteraktionslatenz, Sitzungsdauer, Fehlerrate | Überwachen der betrieblichen Leistung und Stabilität | STDM |
| Vertrauen | Adherence Response Rate (Antwortrate der Einhaltung), Avg Agent Toxicity Score (Durchschnittliche Agententoxizitätsbewertung) | Überprüfen, ob der Agent Anweisungen befolgt und innerhalb der Inhaltsgrenzen bleibt | Audit & Feedback + Trust Layer |
| Voice | Unterbrechungsrate | Überwachen des Unterhaltungs-Flows für sprachfähige Agenten | STDM (nur sprachfähige Agenten) |
| Benutzerzufriedenheit | Daumenzahl nach oben/unten und Trend | Verfolgen direkter Benutzerfeedbacksignale | Audit & Feedback (nur Mitarbeiteragent) |
| Leistungsstatistiken | Aufschlüsselung beliebiger Kennzahlen nach Unteragent, Intent oder Aktion | Eingrenzen eines Trends auf einen bestimmten Unteragenten oder eine bestimmte Aktion vor dem Aufrufen von Sitzungen | STDM + Audit & Feedback |
Leistungsstatistiken
Performance Insights ist der Schritt zwischen dem Anzeigen eines Trends und dem Eintauchen in Sitzungen. Verwenden Sie sie vor dem Öffnen der Agentenoptimierung, um Kennzahlen nach Unteragenten, Intent oder Aktion aufzuschlüsseln, damit Sie genau wissen, wo Sie suchen müssen, statt Sitzungen nach dem Zufallsprinzip zu überprüfen.
Informationen zu Setup-Anforderungen und Berechtigungen finden Sie unter Agent Analytics.
Agentenoptimierung
Wenn in Analytics ein Muster angezeigt wird und Sie wissen müssen, was es ausmacht, dann ist die Agentenoptimierung die richtige Wahl. Sie bietet Ihnen einen Einblick in einzelne Agenten-Benutzer-Unterhaltungen. So können Sie bestimmte Sitzungen filtern, durchsuchen und öffnen, um zu sehen, was tatsächlich passiert ist. Zwei Ansichten:
- Verarbeitete Sitzungen: Der extrahierte Intent, das Clustering und die bewertete Qualität. Verfügbar 4–5 Stunden nach Sitzungsende. Tabellenspalten: Sitzungs-ID, Zeitstempel, Dauer, Ergebnis, benutzerdefinierte Scorer-Bezeichnungen, Intent-Zusammenfassung, Antwortzusammenfassung, ausgelöste Unteragenten, ausgelöste Aktionen, Intent-Tag, Qualitätsbewertung.
- Nicht verarbeitete Sitzungen: aktive, aktuelle oder noch verarbeitete Sitzungen. Die Registerkarte "Verfolgung" ist sofort verfügbar. Sie müssen nicht mehr auf die Intent-Verarbeitung warten, um mit dem Debuggen zu beginnen.
Das Intent-Clustering unterscheidet die Mustererkennung von der sitzungsweisen Überprüfung. Die Cluster-Pipeline wird wöchentlich ausgeführt und gruppiert ähnliche Intents nach semantischer Ähnlichkeit, sobald ein Cluster-Tag 10 oder mehr übereinstimmende Intents ansammelt. Sobald Cluster gebildet sind, können Sie nach Cluster filtern, um alle Sitzungen anzuzeigen, in denen Benutzer dasselbe auf verschiedene Weise gefragt haben. Dies ist der schnellste Weg, systematische Fehlermuster zu identifizieren, statt Sitzungen einzeln zu überprüfen.
Angezeigte KPIs: Ergebnisbereiche "Agent Impact" (Agentenauswirkung) und "Agent Effectiveness" (Agenteneffektivität): Ergebnis auf Sitzungsebene, Qualitätsbewertung und Intent-Muster.
Was es nicht kann: Aggregieren Sie Kennzahlen sitzungsübergreifend (verwenden Sie Analytics). Sitzungen per E-Mail werden nicht sofort berücksichtigt.
Es werden Ergebnisse auf Sitzungsebene, Qualitätsbewertungen und Intent-Muster angezeigt. Aktuelle Sitzungsspalten und -filter finden Sie unter Agentenoptimierung.
Registerkarte 'Interaktionszusammenfassung'
Wenn Sie eine Sitzung in der Agentenoptimierung öffnen und einen Intent auswählen, erhalten Sie auf der Registerkarte "Interaktionszusammenfassung" eine strukturierte Aufschlüsselung der Vorgänge für diesen Intent:
- Agentenname, durchschnittliche Agentenlatenz (ms), Interaktionen insgesamt, Intent-Dauer
- Themen (Nachkommastellen) ausgelöst, Aktionen ausgelöst
- Intent-Tag, Qualitätsbewertung (Hoch/Mittel/Niedrig)
- Argumentation der Qualitätsbewertung – eine von LLM generierte Erklärung, warum die Qualitätsbewertung zugewiesen wurde
Qualitätsbewertungsgründe sind es, die eine Bewertung in eine Richtung umwandeln. Bei einer niedrigen Qualität erfahren Sie im Argumentationsfeld oft direkt, was der Auswerter gefunden hat – falscher Unteragent, unvollständige Antwort, verpasste Anweisung, Abruffehler – in natürlicher Sprache. Dies ist der schnellste Pfad von "Qualität ist niedrig" zu "Hier ist, was untersucht werden soll", bevor Sie die Registerkarte "Verfolgung" öffnen.
Sie ist erst nach Abschluss der Intent-Verarbeitung (4 bis 5 Stunden nach der Sitzung) verfügbar. Beginnen Sie zum sofortigen Debuggen mit der Registerkarte "Verfolgung".
Registerkarte 'Verfolgung'
Die Registerkarte "Verfolgung" kann auch über eine Sitzung in der Agentenoptimierung aufgerufen werden und bietet Ihnen einen zeitgeordneten Datensatz für jeden Verarbeitungsschritt – Identifizierung von Unteragenten, Aktionsauswahl, Weiterleitung, Variablenaktualisierungen, Abruf und Antwortgenerierung. Jeder Schritt zeigt eine Statusanzeige und einen Zeitpunkt an und verschachtelte Schritte können für die Delegation von Unteragenten erweitert werden.
Die Registerkarte "Verfolgung" ist das primäre Tool zur Ursachenanalyse. Jedes andere Tool informiert Sie darüber, was passiert ist, beispielsweise eine verschobene Kennzahl, eine verworfene Qualitätsbewertung oder eine fehlgeschlagene Sitzung. Auf der Registerkarte "Verfolgung" erfahren Sie, wo und warum der Schritt fehlgeschlagen ist, wie die Fehlermeldung lautet, wo die Zeit verbracht wurde und was der Abruf zurückgegeben hat.
Schritttypen: Intent-Handhabung, Weiterleitung von Unteragenten, Filter, Abrufe, Variablenaktualisierungen und Aktionsausführung. Jeder Schritt verfügt über Start- und Endzeitstempel und ErrorMessageText. Erweitern Sie bei Bereitstellungen mit mehreren Agenten (SOMA) jeden Schritt, bei dem ein Unteragent aufgerufen wurde, um einen Drilldown zu verschachtelten Schritten durchzuführen.
Arbeiten mit Fehlern: Fragen Sie ErrorMessageText in AiAgentInteractionStepDmo__dlm über SOQL ab und filtern Sie die Sentinelwerte (NOT_SET, None, empty string) heraus, um echte Fehler zu isolieren.
Angezeigte KPIs: Latenz, Fehlerort und Ausführungssequenz im Ergebnisbereich "Agentengesundheit" auf Schrittebene.
Sofort verfügbar, auch bei nicht verarbeiteten Sitzungen. Warten Sie nicht auf die Intent-Verarbeitung, wenn Sie sofort debuggen müssen.
Agentenintegritätsüberwachung
Die Agentenintegritätsüberwachung erkennt Fehler von stillen Agenten wie Spitzenfehlerraten, hohe Latenz oder sinkende Antwortraten und benachrichtigt Sie nahezu in Echtzeit, bevor sie sich zu Kundenauswirkungen addieren. Wo Agent Analytics im Laufe der Zeit Trends feststellt, ist die Gesundheitsüberwachung auf schnelle Reaktionen ausgelegt: Legen Sie Schwellenwerte für die Kennzahlen fest, die für Ihre Bereitstellung wichtig sind, lassen Sie sich benachrichtigen, wenn gegen sie verstoßen wird, und untersuchen Sie Sitzungsverfolgungen, um die Ursache zu finden.
| Zielvorgabe | Informationen |
|---|---|
| Agentenfehlerrate | Prozentsatz der Interaktionen, die einen Fehler aufwiesen |
| Durchschnittliche Interaktionslatenz | Durchschnittliche Zeit (ms), die der Agent benötigt, um auf eine Interaktion zu antworten |
| Eskalationsrate | Prozentsatz der Interaktionen, die zu einem Menschen eskaliert sind |
| Agentenantwortrate | Prozentsatz der Benutzerrunden, die innerhalb von 60 Sekunden eine Agentenantwort erhalten haben |
Diese Kennzahlen werden auch auf der Unterregisterkarte "Gesundheit" von Agent Analytics visualisiert.
Warnungen
Jede Benachrichtigung überwacht eine Kennzahl für einen Agenten. Das System wertet jede Minute Benachrichtigungen im Vergleich zu den Daten der letzten 15 Minuten aus und sendet eine E-Mail-Benachrichtigung, wenn ein Schwellenwert überschritten wird. Nachdem eine Benachrichtigung ausgelöst wurde, wird dieselbe Benachrichtigung 30 Minuten lang angehalten, bevor sie erneut benachrichtigt werden kann.
Benachrichtigungen verknüpfen die Benachrichtigung direkt mit den Sitzungen, die sie ausgelöst haben. In jeder Benachrichtigung wird die betroffene Sitzung angezeigt, sodass Sie ohne Suche direkt zur Verfolgung wechseln können. Informationen zu Setup-Anforderungen und Berechtigungen finden Sie unter Monitor Agent Health (Überwachen des Agentenstatus).
Überwachen von Agentenleitplanken
Überwachen Sie Agentenleitplanken, um die Einhaltung von Anweisungen und die Aufgabenlösung zu optimieren. Die Trust Layer-Ausgaben werden als dedizierte Überwachungskennzahlen angezeigt und sind von der umfassenderen Analytics-Ansicht getrennt. Bei Bereitstellungen, bei denen die Einhaltung der Leitplanken eine verfolgte Anforderung ist – regulierte Branchen, Durchsetzung von Unternehmensrichtlinien, Markensicherheit – erhalten Sie auf diese Weise Trends zur Einhaltung von Anweisungen und zur Aufgabenlösung an einem Ort, unabhängig von Leistungs- und Qualitätssignalen.
Angezeigte KPIs: Ergebnisbereich "Agentengesundheit": Einhaltung der Anweisungen und Lösung der Aufgabe.
Aktuelle Kennzahlen finden Sie unter Überwachen von Agentenleitplanken.
Überwachen Ihres Voice-fähigen Agenten
Bei Voice-Bereitstellungen können Supervisors aktive Anrufe über die Registerkarte Agentforce im Omni-Supervisor (Service Cloud-Konsole) in Echtzeit überwachen. Dies unterscheidet sich von der Registerkarte "Voice" in Analytics, auf der historische aggregierte Daten angezeigt werden. Der Omni-Supervisor dient dazu, Live-Aktivitäten zu verfolgen und nicht dazu, vergangene Sitzungen zu überprüfen.
Auf der Registerkarte "Agentforce" im Omni-Supervisor wird eine Liste der Agenten für aktive Anrufe und Live-Anrufabschriften angezeigt. Der Zugriff erfolgt über die Service Cloud-Konsole und nicht über Agentforce Studio.
Angezeigte KPIs: Ergebnisbereich "Agentengesundheit": Live-Anrufstatus und -Abschrift, nicht in historischer Echtzeit. Informationen zur Einrichtung und Supervisor-Konfiguration finden Sie unter Überwachen Ihres Voice-fähigen Agenten.
Data 360-Abfrage-Editor und -Berichte
Bei Fragen, die von der Produktbenutzeroberfläche nicht beantwortet werden, bietet Ihnen der Data 360-Abfrage-Editor direkten SQL-Zugriff auf die zugrunde liegenden Daten. Abfrage mit DMOs – dem semantischen Eingangspunkt zu den Daten – über alle vier Ebenen hinweg: STDM, Audit & Feedback, RAG Quality und Agent Optimizer.
Sie können auch Berichte in Data 360 erstellen, die relevante Informationen aus den entsprechenden DMOs abrufen. Weitere Informationen, einschließlich der erforderlichen Berechtigungen, finden Sie unter Data 360-Berichte und -Dashboards
Datenmodell-DMOs (Session Tracing Data Model, STDM):
AiAgentSessionDmo— Fakten auf Sitzungsebene: Kanaltyp, Sitzungsendetyp, zugehörige Voice-/Messaging-Sitzungs-IDsAiAgentSessionParticipantDmo– Wer ist beigetreten: Kontakt-, Lead-, Benutzer-, Agenten-API-NameAiAgentInteractionDmo– ein Zug; schließtTopicApiNameein (welcher Unteragent dies verarbeitet hat)AiAgentInteractionStepDmo– ein separater Schritt mit Start- und Endzeitstempeln undErrorMessageTextAiAgentInteractionMessageDmo— tatsächlicher Eingabe-/Ausgabetext
Datenmodellobjekte für Audit und Feedback:
GenAiGatewayRequest: die an das LLM gesendete Aufforderung und der KontextGenAiGatewayResponse: die Antwort des LLMGenAiResponseGeneration: Metadaten auf GenerierungsebeneGenAiFeedback– BenutzerfeedbacksignaleGenAiContentQuality— QualitätsbewertungenGenAiContentQualityCategory— Inhaltskategorieklassifizierungen
RAG-Qualität:
AIRetrieverRequest(DLO): die an die Knowledge Source gesendete AbrufabfrageAIRetrieverResponse(DLO): Der zurückgegebene abgerufene KontextAIRetrieverQualityMetric(DMO): Bewertungen für Antworttreue, Antwortrelevanz und Kontextrelevanz
Informationen zu Objekten vom Typ "Agent Optimizer" finden Sie unter Datenmodell "Agentenoptimierung".
Angezeigte KPIs: Alle Ergebnisbereiche – alle KPIs, die aus den Rohdaten für alle vier Infrastrukturebenen abgeleitet werden können.
Der nächste Schritt besteht darin, sie mit Oberflächen zu verbinden. Sie haben definiert, wie der Erfolg für Ihren Agenten aussieht, und Sie wissen, was die Toolchain anzeigen kann. Nun wird ein Plan erstellt, der Ihre Ergebnisbereiche den richtigen Signalen und die richtigen Signale den richtigen Tools zuordnet. Dieser Plan ist es, der die Beobachtbarkeit aus einer Reihe von Funktionen in eine wiederholbare Praxis verwandelt.
