Agentforce-Beobachtbarkeitsinfrastruktur

Agentforce-Sitzungsverfolgung

Die Agentforce-Sitzungsverfolgung verfolgt die Agentenaktivitätsebene. Er erfasst jede Agentenbewegung, jeden Argumentationsschritt, jede Aktion, jede Meldung und jeden Fehler für jede Sitzung und speichert sie in strukturierten Objekten in Data 360. Siehe Agentforce Session Tracing.

Das Sitzungsverfolgungsdatenmodell (Session Tracing Data Model, STDM) verfügt über fünf Objekte, die in einer Verschachtelungshierarchie organisiert sind:

• AiAgentSession: Der Datensatz der obersten Ebene für jede Sitzung. Das Feld SessionEndType, das abgeleiteten, eskalierten und verlassenen Sitzungen zugeordnet wird.
• AiAgentSessionParticipant – wer an der Sitzung teilgenommen hat: Kontakt-, Lead-, Benutzer- oder Agenten-API-Name.
• AiAgentInteraction: Ein Zug innerhalb der Sitzung. Das Feld TopicApiName gibt an, welcher Unteragent den Zug verarbeitet hat.
• AiAgentInteractionStep – ein diskreter Schritt innerhalb eines Zuges: Tool Call, Apex Call, Flow Call oder LLM Call.
• AiAgentInteractionMessage: Der tatsächliche Eingabe-/Ausgabetext für jeden Zug.

Diese Objekte speisen die Registerkarten "Effektivität", "Nutzung" und "Gesundheit" in Agent Analytics sowie die Sitzungsliste und "Verfolgung in der Agentenoptimierung". Alle fünf Objekte können direkt über den Data 360-Abfrage-Editor für benutzerdefinierte Aggregationen und Verknüpfungen abgefragt werden. Die vollständige Objektreferenz finden Sie unter Datenmodell für Agentforce Session Tracing.

Agent Platform Tracing (Plattformverfolgung für Agenten)

Das Agent Platform Tracing erweitert die Datenerfassung auf die Serviceebene. Hierbei handelt es sich um Vorgänge innerhalb der Agentforce Infrastruktur zum Ausführen der Datensätze für das Sitzungsverfolgungsverfahren. Wenn das Sitzungs-Tracing Ihnen mitteilt, was der Agent entschieden und gesagt hat, zeigt Ihnen das Agentenplattform-Tracing an, welcher Service wie lange und mit welchem Status ausgeführt wurde. Es erfasst Telemetrie auf Serviceebene über Atlas-Überlegungen, Apex, Flows, Eingabeaufforderungsgenerator, aufrufbare Aktionen, AI-Gateway, LLM-Gateway und DC-Abfragefederator hinweg. Die Daten werden in einem einzelnen DMO gespeichert, das von STDM getrennt ist und über TelemetryTraceId verbunden werden kann.

• ssot__TelemetryTraceSpan__dlm: Über-/Unterordnungsbeziehungen, Dauer in Nanosekunden, Vorgangsnamen, Servicenamen und Statuscodes.

Zusammen erhalten Sie so eine verteilte Verfolgung im gesamten Agentforce Ökosystem. Entsprechende Informationen finden Sie unter Agent Platform Tracing.

Audit und Feedback

"Aktivierung und Feedback" verfolgt die LLM-Gateway-Ebene. Er erfasst die Ein- und Ausgaben jedes LLM-Aufrufs, einschließlich Aufforderungstext, Antworttext, Trust Evaluations, Leitplankenausgaben und Benutzerfeedbacksignalen. Während das Sitzungs-Tracing Ihnen mitteilt, was der Agent getan hat, erfahren Sie unter "Aktivierung und Feedback", ob die LLM-Antwort genau, sicher und in Ihrer Knowledge Quelle fundiert war.

• GenAIGatewayRequest: die an das LLM gesendete Aufforderung und der Kontext
• GenAIGatewayResponse: Verknüpft die Gateway-Anforderung mit ihrer Generierungsausgabe
• GenAIGeneration: Der LLM-generierte Antworttext, einschließlich maskierter und demaskierter Versionen und Generierungsparametern
• GenAIFeedback: Benutzerfeedbacksignale wie Daumen hoch/runter.
• GenAIContentQuality: Ob ein Ein-/Ausgang sicher/unsicher ist, einschließlich Toxizitätserkennung
• GenAIContentCategory: Trust Layer detector results by type (Ergebnisse des Trust Layer-Detektors nach Typ): InstructionAdherence, TaskResolution, TOXICITY, PROMPT_DEFENSE

Audit- und Feedbackdaten werden in "Qualitätsbewertungen", "Trust" und "Benutzerzufriedenheit" in Agent Analytics und im Feld "Qualitätsbewertungsgründe" in der Agentenoptimierung angezeigt. Aktuelle Kennzahlen finden Sie unter Agent Analytics und Einrichten der Einstein-Aktivierung und -Feedbacks.

Knowledge/RAG-Qualitätsdaten und -Kennzahlen

Knowledge/RAG Quality Data and Metrics (Knowledge/RAG-Qualitätsdaten und -Kennzahlen) fügt der Pipeline "Aktivierung und Feedback" eine Bewertung der Abrufqualität hinzu. Es wird erfasst, wie relevant die Abfrage für die Aufgabe war, wie treu die Antwort auf die abgerufene Knowledge Quelle war und wie relevant die abgerufene Knowledge Quelle für die Abfrage war.

Wichtige Objekte:

• GenAIRetrieverRequest: die an die Knowledge Source gesendete Abrufabfrage
• GenAIRetrieverResponse: Der zurückgegebene abgerufene Kontext
• GenAIRetrieverQualityMetric: Bewertungen für Antworttreue, Antwortrelevanz und Kontextrelevanz

In Agent Analytics werden die Abrufqualitätskennzahlen in "Qualitätsbewertungen" ausgefüllt. Dadurch wird signalisiert, ob die Knowledge Source den richtigen Inhalt zurückgibt, unabhängig von der Antwortqualität des LLM. Setup-Schritte finden Sie unter Einrichten von Knowledge/RAG-Qualitätsdaten und -Kennzahlen.

Trust

Die Trust Layer ist die Konformitätsbewertungsebene. Es generiert Anweisungstreue- und Toxizitätsbewertungen aus LLM Gateway-Ausgaben. Trust Layer-Bewertungen werden in GenAIContentCategory und GenAIContentQuality gespeichert, denselben Objekten aus "Aktivierung" und "Feedback".

Sie wird in Trust in Agent Analytics angezeigt und gibt Ihnen Einblick, ob der Agent seine Anweisungen befolgt und innerhalb der zulässigen Inhaltsgrenzen bleibt. Setup-Schritte finden Sie unter Einstein Trust Layer.

Jede Ebene unterstützt einen anderen Teil der Toolchain für die Beobachtbarkeit. Je mehr Ebenen Sie aktivieren, desto umfassender ist Ihre Ansicht des Agentenverhaltens und desto besser ist der Lebenszyklus der Agentenentwicklung, in dem Sie mit Nachweisen navigieren können.