Infrastruttura osservabilità Agentforce

Tracciamento sessione Agentforce

Tracciamento sessione Agentforce tiene traccia del livello di attività dell'agente. Acquisisce ogni turno dell'agente, fase di ragionamento, azione, messaggio ed errore per ogni sessione e li archivia in oggetti strutturati in Data 360. Vedere Tracciamento sessioni Agentforce.

Il modello di dati di tracciamento delle sessioni (STDM) ha cinque oggetti organizzati in una gerarchia di nidificazione:

• AiAgentSession: il record di livello massimo per ogni sessione. Il SessionEndType di campo, che viene mappato alle sessioni deviate, inoltrate al livello superiore e abbandonate.
• AiAgentSessionParticipant: chi era nella sessione: referente, lead, utente o nome API agente.
• AiAgentInteraction: un turno all'interno della sessione. Il campo TopicApiName identifica il sottoagente che ha gestito il turno.
• AiAgentInteractionStep: una fase discreta all'interno di un turno: chiamata strumento, chiamata Apex, chiamata flusso o chiamata LLM.
• AiAgentInteractionMessage: il testo di input/output effettivo per ogni turno.

Questi oggetti alimentano le schede Efficacia, Utilizzo e Salute in Agent Analytics e l'elenco delle sessioni e Traccia nell'ottimizzazione degli agenti. Tutti e cinque gli oggetti sono interrogabili direttamente tramite l'editor di query di Data 360 per aggregazioni e join personalizzati. Vedere Data Model for Agentforce Session Tracing (Modello di dati per il tracciamento sessioni Agentforce) per il riferimento completo all'oggetto.

Tracciamento piattaforma agente

Agent Platform Tracing estende la raccolta dati al livello di servizio, ovvero a ciò che è accaduto all'interno dell'infrastruttura Agentforce per eseguire i record di tracciamento sessione decisione. Dove Tracciamento sessione indica che cosa ha deciso e detto l'agente, Tracciamento piattaforma agente indica quale servizio è stato eseguito, per quanto tempo e con quale stato. Acquisisce la telemetria dei livelli di servizio in Atlas reasoning engine, Apex, Flussi, Generatore di prompt, Azioni invocabili, Gateway AI, Gateway LLM e DC Query Federator. I dati sono memorizzati in un unico DMO, separato da STDM e unibile tramite TelemetryTraceId.

• ssot__TelemetryTraceSpan__dlm: relazioni controllante/controllato, durata in nanosecondi, nomi di operazioni, nomi di servizi e codici di stato.

In questo modo si ottiene una traccia distribuita in tutto l'ecosistema Agentforce. Vedere Tracciamento piattaforma agenti.

Controllo e feedback

Controllo e feedback tiene traccia del livello Gateway LLM. Acquisisce gli input e gli output di ogni chiamata LLM, inclusi testo prompt, testo di risposta, valutazioni Trust, output guardrail e segnali di feedback degli utenti. Mentre il tracciamento della sessione indica che cosa ha fatto l'agente, Controllo e feedback indica se la risposta LLM è stata precisa, sicura e basata sulla fonte Knowledge.

• GenAIGatewayRequest — il prompt e il contesto inviati a LLM
• GenAIGatewayResponse: unisce la richiesta gateway all'output di generazione
• GenAIGeneration: il testo della risposta generato da LLM, incluse le versioni mascherate e demascherate, e i parametri di generazione
• GenAIFeedback: segnali di feedback degli utenti come pollice su/giù.
• GenAIContentQuality — se un input/output è sicuro/non sicuro, incluso il rilevamento della tossicità
• GenAIContentCategory — Risultati del rilevatore Trust Layer per tipo: InstructionAdherence, TaskResolution, TOXICITY, PROMPT_DEFENSE

I dati di controllo e feedback compaiono in Punteggi di qualità, Trust e Soddisfazione degli utenti in Agent Analytics e nel campo di ragionamento del punteggio di qualità in Ottimizzazione agente. Vedere Analisi degli agenti e Impostazione di Einstein Generative AI Audit and Feedback per le metriche correnti.

Dati e metriche di qualità Knowledge/RAG

Dati e metriche di qualità Knowledge/RAG aggiunge il punteggio della qualità di recupero alla pipeline di controllo e feedback. Acquisisce la rilevanza della query per l'operazione, la fedeltà della risposta alla fonte Knowledge recuperata e la rilevanza della fonte Knowledge recuperata per la query.

Oggetti chiave:

• GenAIRetrieverRequest — la query di recupero inviata alla fonte Knowledge
• GenAIRetrieverResponse: il contesto recuperato restituito
• GenAIRetrieverQualityMetric: punteggi Fedeltà della risposta, Pertinenza della risposta e Pertinenza del contesto

Compila le metriche di qualità del recupero in Punteggi di qualità in Analytics agente, che segnala se la fonte Knowledge sta restituendo il contenuto corretto, separatamente dalla qualità di risposta del LLM. Vedere Impostazione dei dati e delle metriche di qualità Knowledge/RAG per istruzioni sull'impostazione.

Livello Trust

Trust Layer è il livello di calcolo del punteggio di conformità. Genera punteggi di osservanza e tossicità delle istruzioni dagli output del gateway LLM. I punteggi dei livelli Trust sono memorizzati in GenAIContentCategory e GenAIContentQuality, gli stessi oggetti di Controllo e Feedback.

Viene visualizzato nel Trust in Agent Analytics, che consente di vedere se l'agente sta seguendo le sue istruzioni ed entro limiti di contenuto accettabili. Vedere Einstein Trust Layer per le fasi di configurazione.

Ogni livello alimenta una parte diversa della catena degli strumenti di osservabilità. Maggiore è il numero di livelli abilitati, più completa sarà la visualizzazione del comportamento degli agenti e più sarà possibile navigare all'interno del Ciclo di vita di sviluppo degli agenti con le prove.