Strumenti di osservazione della fase

Agent Analytics

Agent Analytics è il sistema in cui si monitorano le prestazioni dell'agente nel tempo. Aggrega i dati in tutte le sessioni e mette in evidenza le tendenze in una serie di cruscotti digitali basati su Tableau Next. Questo è il punto di partenza per qualsiasi domanda sulla fase Osserva; prima di passare agli strumenti a livello di sessione, guardare qui per capire qual è il trend.

Approfondimenti sulle prestazioni

Approfondimenti prestazioni è il passaggio tra la visualizzazione di un trend e l'approfondimento delle sessioni. Prima di aprire Ottimizzazione agente, utilizzarla per suddividere qualsiasi metrica per sottoagente, intento o azione, in modo da sapere esattamente dove cercare anziché rivedere le sessioni a caso

Vedere Agente Analytics per i requisiti di impostazione e le autorizzazioni.

Ottimizzazione degli agenti

Quando Analytics mette in evidenza uno schema ed è necessario capire che cosa lo determina, l'ottimizzazione degli agenti è la fase successiva. Offre una visualizzazione delle conversazioni tra singoli agenti e utenti, consentendo di filtrare, sfogliare e aprire sessioni specifiche per vedere cosa è realmente accaduto. Due visualizzazioni:

• Sessioni elaborate: intento estratto, raggruppato in cluster e punteggio di qualità. Disponibile da 4 a 5 ore dopo la chiusura della sessione. Colonne tabella: ID sessione, indicazione oraria, durata, esito, etichette scorer personalizzate, riepilogo intenti, riepilogo risposte, agenti secondari attivati, azioni attivate, tag intenti, punteggio di qualità.
• Sessioni non elaborate: attive, recenti o ancora in fase di elaborazione. La scheda Traccia è disponibile immediatamente: non è necessario attendere l'elaborazione degli intenti per avviare il debug.

Il clustering degli intenti è ciò che separa il rilevamento degli schemi dalla revisione sessione per sessione. La pipeline di clustering viene eseguita ogni settimana e raggruppa intenti simili in base alla similarità semantica quando un tag cluster accumula 10 o più intenti corrispondenti. Una volta formati i cluster, è possibile filtrare in base al cluster per mettere in evidenza tutte le sessioni in cui gli utenti hanno posto la stessa domanda in modi diversi: il percorso più rapido per identificare schemi di errore sistematici anziché rivedere le sessioni una per una.

KPI presentati: Aree del risultato Impatto agente ed Efficacia agente: esito a livello di sessione, punteggio di qualità e schemi di intenti.

Cosa non può fare: Aggregare le metriche nelle sessioni (utilizzare Analytics); le sessioni via email in tempo reale non vengono riportate immediatamente.

Mette in evidenza l'esito a livello di sessione, il punteggio di qualità e gli schemi di intenti. Vedere Ottimizzazione degli agenti per le colonne e i filtri della sessione corrente.

Scheda Riepilogo interazione

Quando si apre una sessione in Ottimizzazione agente e si seleziona un intento, la scheda Riepilogo interazione offre una suddivisione strutturata di ciò che è accaduto per quell'intento:

• Nome agente, latenza media agente (ms), interazioni totali, durata dell'intento
• Argomenti (agenti secondari) attivati, azioni attivate
• Tag dell'intento, punteggio di qualità (alto/medio/basso)
• Ragionamento del punteggio di qualità: spiegazione generata da LLM del motivo per cui è stato assegnato il punteggio di qualità

Il ragionamento del punteggio di qualità è ciò che converte un punteggio in una direzione. Per un punteggio di qualità basso, il campo di ragionamento spesso indica direttamente ciò che il valutatore ha rilevato (sottoagente errato, risposta incompleta, istruzione mancata, errore di recupero) in linguaggio naturale. È il percorso più rapido da "la qualità è bassa" a "ecco cosa analizzare", prima di aprire la scheda Traccia.

Non è disponibile finché non viene completata l'elaborazione degli intenti (da 4 a 5 ore dopo la sessione). Per il debug immediato, iniziare con la scheda Traccia.

Scheda Traccia

Accessibile anche da una sessione in Ottimizzazione agente, la scheda Traccia offre un record ordinato nel tempo di ogni fase dell'elaborazione: identificazione del subagente, selezione delle azioni, instradamento, aggiornamenti delle variabili, recupero e generazione delle risposte. Ogni fase mostra un indicatore di stato e una tempistica e le fasi nidificate sono espandibili per la delega subagente.

La scheda Traccia è lo strumento principale di analisi delle cause principali. Ogni altro strumento indica che cosa, ad esempio una metrica spostata, un punteggio di qualità diminuito o una sessione non riuscita. La scheda Traccia indica dove e perché, inclusa la fase non riuscita, il messaggio di errore, il tempo trascorso e il risultato del recupero.

Tipi di fasi: gestione degli intenti, instradamento dei subagenti, filtri, recuperi, aggiornamenti delle variabili ed esecuzione delle azioni. Ogni fase include le indicazioni orarie di inizio e fine e ErrorMessageText. Per le distribuzioni multiagente (SOMA), espandere qualsiasi fase in cui è stato invocato un subagente per visualizzare i dettagli delle fasi nidificate.

Uso degli errori: Eseguire una query su ErrorMessageText in AiAgentInteractionStepDmo__dlm tramite SOQL ed escludere i valori sentinella (NOT_SET, Nessuno, stringa vuota) per isolare gli errori reali.

KPI presentati: Latenza a livello di fase dell'area del risultato Salute dell'agente, posizione dell'errore e sequenza di esecuzione.

Disponibile immediatamente, anche per le sessioni non elaborate. Non attendere l'elaborazione degli intenti se è necessario eseguire il debug in questo momento.

Monitoraggio dello stato degli agenti

Monitoraggio dello stato degli agenti rileva errori silenziosi degli agenti come picchi di errori, latenza elevata o calo delle percentuali di risposta e invia una notifica quasi in tempo reale prima che si traducano in un impatto sul cliente. Laddove Agent Analytics mette in evidenza le tendenze nel tempo, Monitoraggio dello stato è progettato per fornire una risposta rapida: impostare soglie per le metriche importanti per la distribuzione, ricevere una notifica quando vengono violate e analizzare le tracce della sessione per individuare la causa.

Queste metriche sono visualizzate anche nella sottoscheda Salute di Agent Analytics.

Avvisi

Ogni avviso monitora una metrica per un agente. Il sistema valuta ogni minuto gli avvisi rispetto ai 15 minuti di dati precedenti e invia una notifica tramite email quando viene superata una soglia. Dopo l'attivazione di una notifica, lo stesso avviso viene messo in pausa per 30 minuti prima di poter essere nuovamente informato.

Le notifiche collegano l'avviso direttamente alle sessioni che lo hanno attivato. Ogni notifica mostra la sessione interessata in modo che sia possibile passare direttamente alla traccia senza eseguire ricerche. Vedere Monitoraggio dello stato dei requisiti di impostazione e delle autorizzazioni.

Monitoraggio dei guardrail degli agenti

Monitora i guardrail degli agenti offre una visualizzazione mirata dell'osservanza delle istruzioni e della risoluzione delle operazioni: gli output del livello Trust sono apparsi come metriche di monitoraggio dedicate, separate dalla visualizzazione Analytics più ampia. Per le distribuzioni in cui la conformità al guardrail è un requisito di monitoraggio (settori regolamentati, applicazione delle policy aziendali, sicurezza del marchio), ciò offre l'osservanza delle istruzioni e le tendenze di risoluzione delle operazioni in un unico punto, separatamente dai segnali di prestazioni e qualità.

KPI presentati: Area dei risultati di Salute dell'agente: osservanza delle istruzioni e risoluzione delle operazioni.

Vedere Monitoraggio dei guardrail per le metriche correnti.

Monitoraggio dell'agente abilitato per Voice

Per le distribuzioni vocali, i supervisori possono monitorare le chiamate attive in tempo reale tramite la scheda Agentforce nel supervisore Omni (Service Cloud Console). Questo è distinto dalla scheda Voice in Analytics, che mostra i dati aggregati storici: il supervisore Omni serve per guardare l'attività in diretta, non per rivedere le sessioni precedenti.

La scheda Agentforce nel supervisore Omni mostra un elenco degli agenti nelle chiamate attive e nelle trascrizioni delle chiamate live. Vi si accede tramite Service Cloud Console, non Agentforce Studio.

KPI presentati: Area dei risultati di Salute dell'agente: stato e trascrizione della chiamata in tempo reale, non cronologia. Vedere Monitoraggio dell'agente abilitato per Voice per l'impostazione e la configurazione del supervisore.

Editor di query e rapporti di Data 360

Per le domande a cui l'interfaccia utente del prodotto non risponde, il Query Editor di Data 360 offre l'accesso diretto SQL ai dati sottostanti. Eseguire una query utilizzando i DMO, ovvero il punto di ingresso semantico ai dati, in tutti e quattro i livelli: STDM, Controllo e feedback, Qualità RAG e Agent Optimizer.

È anche possibile creare rapporti in Data 360 che estraggono informazioni pertinenti dai DMO applicabili. Per ulteriori informazioni, incluse le autorizzazioni richieste, vedere Rapporti e cruscotti digitali

DMO del modello di dati di tracciamento delle sessioni (STDM):

• AiAgentSessionDmo — Fatti a livello di sessione: tipo di canale, tipo di fine sessione, ID sessione vocale/messaggistica correlati
• AiAgentSessionParticipantDmo: chi si è unito: referente, lead, utente, nome API agente
• AiAgentInteractionDmo — un turno; include TopicApiName (quale sottoagente lo ha gestito)
• AiAgentInteractionStepDmo: una fase discreta con indicazioni orarie di inizio e fine e ErrorMessageText
• AiAgentInteractionMessageDmo: testo di input/output effettivo

DMO Controllo e feedback:

• GenAiGatewayRequest — il prompt e il contesto inviati a LLM
• GenAiGatewayResponse — la risposta del LLM
• GenAiResponseGeneration: metadati a livello di generazione
• GenAiFeedback: segnali di feedback degli utenti
• GenAiContentQuality: punteggi di valutazione della qualità
• GenAiContentQualityCategory: classificazioni delle categorie di contenuto

Qualità di RAG:

• AIRetrieverRequest (DLO): la query di recupero inviata alla fonte Knowledge
• AIRetrieverResponse (DLO): il contesto recuperato restituito
• AIRetrieverQualityMetric (DMO): punteggi Fedeltà della risposta, Pertinenza della risposta e Pertinenza del contesto

Per gli oggetti Agent Optimizer, vedere il modello di dati Agent Optimization.

KPI presentati: Tutte le aree del risultato: qualsiasi KPI derivabile dai dati non elaborati in tutti e quattro i livelli di infrastruttura.

Il passaggio successivo è collegarli alle superfici. È stato definito l'aspetto del successo per l'agente e si sa che cosa può emergere dalla toolchain. Ora, il lavoro consiste nel creare un piano che mappa le aree del risultato ai segnali giusti e i segnali giusti agli strumenti giusti. Questo piano è ciò che trasforma l'osservabilità da un insieme di funzioni in una pratica ripetibile.