Informazioni sui KPI e gli strumenti di osservabilità Agentforce
L'osservabilità non è un singolo strumento. Si tratta di una toolchain a livelli che include un'infrastruttura che acquisisce l'attività degli agenti, strumenti di sviluppo per testare la pre-distribuzione degli agenti e strumenti di monitoraggio che evidenziano le tendenze e i dettagli a livello di sessione dopo la distribuzione.
Versioni (Edition) richieste
| Disponibile nelle versioni: Lightning Experience |
| Disponibile in: Enterprise Edition, Performance Edition, Unlimited Edition e Developer Edition. Le licenze aggiuntive richieste variano a seconda del tipo di agente. |
Sapere quale livello fa ciò che è ciò che mantiene l'agente osservabile dalla creazione alla produzione. Questo articolo mappa la toolchain completa e ogni sezione si collega a ulteriori dettagli.
Infrastruttura
Prima che uno strumento di osservabilità possa visualizzare o elaborare i dati, è necessario che l'infrastruttura telemetrica dell'agente sottostante. Abilitare questi strumenti in modo che il resto della toolchain disponga di dati con cui lavorare.
| Strumento | Dove appare | Descrizione |
|---|---|---|
| Tracciamento sessione Agentforce | Imposta → Agentforce → Tracciamento sessione Agentforce | Acquisisce ogni turno, fase di ragionamento, azione e messaggio per ogni sessione dell'agente. Questo deve essere abilitato prima che qualsiasi altro strumento di osservabilità disponga di dati. |
| Tracciamento piattaforma agente | Imposta → Ricerca veloce → AI generativa Einstein → Impostazione di controllo, analisi e monitoraggio Einstein → Selettore Tracciamento piattaforma agente | Acquisisce la telemetria dei livelli di servizio in Atlas reasoning engine, Apex, Flussi, Generatore di prompt, Azioni invocabili, Gateway AI, Gateway LLM e DC Query Federator. |
| Controllo e feedback | Imposta → Ricerca veloce → Controllo Einstein → Impostazione di Controllo Einstein, Analytics e Monitoraggio | Acquisisce input/output LLM, dati di qualità di recupero, valutazioni Trust, output guardrail e segnali di feedback degli utenti. Aumenta i punteggi di qualità e il Trust in Agent Analytics. |
| Dati e metriche di qualità Knowledge/RAG | Imposta → Ricerca veloce → Controllo Einstein → Impostazione di Controllo Einstein, Analytics e Monitoraggio → Dati e metriche di qualità Knowledge/RAG | Qualità del recupero dei punteggi, ad esempio Fedeltà della risposta, Pertinenza della risposta, Pertinenza del contesto, elaborati tramite la pipeline di controllo e feedback. Genera le metriche di recupero nei punteggi di qualità. |
| Livello Trust | Imposta → Ricerca veloce → Einstein → Einstein Trust Layer | Calcola il punteggio dell'osservanza e della tossicità delle istruzioni derivate dagli output del gateway LLM, elaborati tramite la pipeline di controllo e feedback. Utilizza le metriche Trust in Agent Analytics. |
Approfondire ciascuno di questi strumenti nell'infrastruttura osservabilità Agentforce.
Creazione e test
Gli strumenti Build & Test consentono di osservare il comportamento degli agenti durante lo sviluppo, prima che esista traffico di produzione.
| Strumento | Dove appare | Descrizione |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Generatore | Area di lavoro principale per lo sviluppo e il test iterativo degli agenti. Eseguire le conversazioni in modalità Simulazione senza scrivere dati, oppure in modalità Test live con dati reali end-to-end. |
| Riepilogo interazione | Agentforce Studio → Generatore → Riquadro di anteprima | Mostra la selezione del subagente, l'esecuzione delle azioni e il ragionamento per una conversazione di prova. Visualizzare i dettagli di qualsiasi elemento per la tempistica dettagliata e le transizioni subagente. |
| Centro test | Agentforce Studio → Centro test Agentforce | Valutazione batch del recupero Knowledge, della selezione di subagenti e azioni e della risoluzione delle operazioni, prima della distribuzione. Genera e calcola il punteggio delle enunciazioni in una suite di test utilizzando indicatori predefiniti, di qualità e personalizzati. I marcatori personalizzati emergono dopo la distribuzione in Agent Analytics. |
Visualizzare i dettagli di ciascuno di questi strumenti in Creazione e test degli strumenti di osservabilità.
Osserva
Una volta distribuito l'agente, gli strumenti Osserva fase tengono traccia delle tendenze in tutte le sessioni, in modo da poter analizzare conversazioni specifiche e visualizzare i dettagli a livello di fase.
| Strumento | Dove appare | Descrizione |
|---|---|---|
| Agente Analytics | Agentforce Studio → Osserva e ottimizza → Analytics | Aggrega i dati sulle prestazioni in tutte le sessioni e mette in evidenza le tendenze in base all'area del risultato nei cruscotti digitali Tableau Next. Le schede variano in base al tipo di agente e coprono efficacia, utilizzo, qualità, salute, Trust e voce. |
| Ottimizzazione degli agenti | Agentforce Studio → Osserva e ottimizza → Ottimizzazione | Visualizzazione della sessione individuale con filtro per intento, esito e punteggio di qualità. Le sessioni elaborate includono il clustering degli intenti e i punteggi di qualità; le sessioni non elaborate sono disponibili immediatamente. |
| Riepilogo interazione | Agentforce Studio → Osserva e ottimizza → Dettagli sessione di ottimizzazione | Suddivisione strutturata di un intento selezionato che mostra i sottoagenti attivati, le azioni attivate, il punteggio di qualità e il ragionamento del punteggio di qualità generato da LLM. |
| Traccia | Agentforce Studio → Osserva e ottimizza → Dettagli sessione di ottimizzazione | Record ordinato in base al tempo di ogni fase di elaborazione con temporizzazione per fase e testo di errore. Disponibile immediatamente, anche per le sessioni ancora in fase di elaborazione. |
| Salute degli agenti | Agentforce Studio → Avvisi | Creare avvisi e impostare soglie per ricevere una notifica quando l'attività degli agenti supera i livelli accettabili. |
| Monitoraggio dei guardrail degli agenti | Agentforce Studio → Osservazione e ottimizzazione | Visualizzazione dedicata per l'osservanza delle istruzioni e le tendenze di risoluzione delle operazioni, separata dalla visualizzazione Analytics più ampia. |
| Monitoraggio dell'agente abilitato per Voice | Scheda Agentforce nel supervisore Omni (Service Cloud Console) | Visualizzazione supervisore quasi in tempo reale delle chiamate vocali attive con trascrizioni live. |
| Editor di query di Data 360 | Data 360 → Query | Accesso SQL diretto a tutti e quattro i livelli di dati sottostanti per aggregazioni personalizzate, join oggetti incrociati e analisi che l'interfaccia utente del prodotto non presenta. |
Visualizzare i dettagli di ciascuno di questi strumenti in Osserva strumenti osservabilità fase.
La toolchain funziona meglio in sequenza. Iniziare con Infrastruttura per assicurarsi che i dati circolino, utilizzare Crea e testa per individuare i problemi prima della distribuzione e utilizzare Osserva per monitorare le prestazioni e analizzare dopo la distribuzione.
