Observera fasobservationsverktyg
När din agent har distribuerats flyttas observerbarhet från kontrollerad utvärdering till liveövervakning. Denna fas fokuserar på att identifiera och följa trender över alla sessioner, undersöka specifika konversationer och fördjupa sig i exakt vad som hände på stegnivå.
Versioner som krävs
| Tillgängliga i: Lightning Experience |
| Tillgängliga i: Utgåvorna Enterprise, Performance, Unlimited och Developer. Obligatoriska tilläggslicenser varierar beroende på agenttyp. |
Agent Analytics
Agent Analytics är platsen där du övervakar din agents resultat över tid. Den aggregerar data över alla sessioner och lyfter fram trender i en uppsättning instrumentpaneler som drivs av Tableau Next. Detta är utgångspunkten för alla frågor i observationsfasen. Titta här först för att förstå vad som trendar innan du går till verktyg på sessionsnivå.
| Tabb | Vad den visar | Vad den är till för | Datakälla |
|---|---|---|---|
| Översikt | Sammanfattningskort över alla områden | Snabb hälsokontroll över alla dimensioner i en överblick | STDM + Granskning och feedback + RAG-kvalitet |
| Effektivitet | Avledningsresultat, Omflyttningsresultat, Övergivenhetsresultat, Engagemangsresultat, Framgångsresultat, Uppgiftslösningsresultat | Följ om agenten slutför sitt jobb och hanterar volym | STDM |
| Användning | Unika sessioner, Unika interaktioner, Unika användare, Genomsnittliga interaktioner/sessioner | Förstå mönster för användning och engagemang | STDM |
| Kvalitetsbetyg | Kvalitetsresultat, Svarstrohet, Svarsrelevans, Sammanhangsrelevans | Bedöm LLM-utdatakvalitet och hämtningsprecision | Granskning och feedback + RAG-kvalitet |
| Hälsa | Agentinteraktionslatens, sessionens varaktighet, felfrekvens | Övervaka driftprestanda och stabilitet | STDM |
| Tillförlitlighet | Svarsfrekvens för efterlevnad, Genomsnittlig agenttoxicitetspoäng | Kontrollera om agenten följer instruktioner och håller sig inom innehållsgränserna | Granskning och feedback + Trust Layer |
| Voice | Avbrottsfrekvens | Övervaka konversationsflödet för röstaktiverade agenter | STDM (endast röstaktiverade agenter) |
| Användarnöjdhet | Antal tummar upp/ner och trend | Följ direkta feedbacksignaler från användare | Granskning och feedback (endast anställd agent) |
| Prestandainsikter | Uppdelningar av mått efter underagent, syfte eller åtgärd | Begränsa en trend till en specifik underagent eller åtgärd innan du går till sessioner | STDM + Granskning och feedback |
Prestandainsikter
Prestandainsikter är steget mellan att se en trend och att gå in i sessioner. Innan du öppnar Agentoptimering, använd den för att dela upp alla mått efter underagent, syfte eller åtgärd, så att du vet exakt var du ska leta istället för att granska sessioner slumpmässigt
Se Agent Analytics för konfigurationskrav och behörigheter.
Agentoptimering
När Analytics lyfter fram ett mönster och du behöver förstå vad som driver det är Agentoptimering nästa steg. Den ger dig en inblick i individuella agent-användarkonversationer — så att du kan filtrera, bläddra och öppna specifika sessioner för att se vad som faktiskt hände. Två vyer:
- Behandlade sessioner — syfte extraherat, kluster och kvalitetsbetyg. Tillgängligt 4-5 timmar efter sessionens slut. Tabellkolumner: Sessions-ID, tidsstämpel, varaktighet, resultat, egna betygsetiketter, syftessammanfattning, svarssammanfattning, utlösta underagenter, utlösta åtgärder, syftestagg, kvalitetsbetyg.
- Obearbetade sessioner — aktiva, nyligen utförda eller fortfarande bearbetade. Fliken Spårning är tillgänglig direkt — du behöver inte vänta på syftesbearbetning för att starta felsökningen.
Syfteskluster är det som skiljer mönsterdetektering från session-för-session-granskning. Klusterpipeline körs veckovis och grupperar liknande syften efter semantisk likhet när en klustertagg ackumulerar 10 eller fler matchande syften. När kluster har bildats kan du filtrera efter kluster för att lyfta fram alla sessioner där användare frågade samma sak på olika sätt — den snabbaste vägen till att identifiera systematiska felmönster istället för att granska sessioner en och en.
Nyckeltal som visas: Resultatområden för Agentpåverkan och Agenteffektivitet — resultat på sessionsnivå, kvalitetsresultat och syftesmönster.
Vad den inte kan göra: Aggregera mått mellan sessioner (använd Analytics); sessioner via e-post i realtid återspeglas inte omedelbart.
Den lyfter fram resultat på sessionsnivå, kvalitetsresultat och syftesmönster. Se Agentoptimering för aktuella sessionskolumner och filter.
Fliken Interaktionssammanfattning
När du öppnar en session i Agentoptimering och väljer ett syfte ger fliken Interaktionssammanfattning dig en strukturerad översikt av vad som hände i det syftet:
- Agentnamn, genomsnittlig agentlatens (ms), totala interaktioner, syftesvaraktighet
- Ämnen (underagenter) utlösta, åtgärder utlösta
- Syftestagg, kvalitetsbetyg (Hög/Medel/Låg)
- Resonemang kring kvalitetsbetyg — en LLM-genererad förklaring till varför kvalitetsbetyget tilldelades
Resonemang kring kvalitetsbetyg är det som konverterar ett betyg till en riktning. För ett lågt kvalitetsbetyg berättar resonemangsfältet ofta direkt vad utvärderaren hittade — fel underagent, ofullständigt svar, missade instruktioner, hämtningsfel — på naturligt språk. Det är den snabbaste vägen från "kvaliteten är låg" till "så här undersöker du" innan du öppnar fliken Spårning.
Den är inte tillgänglig förrän syftesbearbetningen är klar (4 till 5 timmar efter sessionen). För omedelbar felsökning, börja med fliken Spårning.
Fliken Spåra
Även tillgänglig från en session i Agentoptimering ger fliken Spårning dig en tidsordnad post för varje bearbetningssteg — identifiering av underagent, åtgärdsval, dirigering, variabeluppdateringar, hämtning och svarsskapande. Varje steg visar en statusindikator och timing, och kapslade steg kan utökas för underagentdelegering.
Fliken Spårning är det primära analysverktyget för grundorsak. Vartannat verktyg talar om vad, som att ett mått flyttats, att ett kvalitetsbetyg sjunkit eller att en session misslyckats. Fliken Spårning berättar var och varför, inklusive vilket steg som misslyckades, vad felmeddelandet var, var tid spenderades och vad hämtningen returnerade.
Stegtyper: syfteshantering, underagentdirigering, filter, hämtningar, variabeluppdateringar och åtgärdsutförande. Varje steg har start- och sluttidsstämplar och ErrorMessageText. För distribueringar av flera agenter (SOMA), utöka alla steg där en underagent åberopades för att fördjupa sig i kapslade steg.
Arbeta med fel: Fråga ErrorMessageText på AiAgentInteractionStepDmo__dlm via SOQL och filtrera bort sentinelvärden (NOT_SET, Ingen, tom sträng) för att isolera verkliga fel.
Nyckeltal som visas: Stegnivålatens för resultatområdet Agenthälsa, felplats och utförandesekvens.
Tillgänglig direkt, även för obearbetade sessioner. Vänta inte på syftesbearbetning om du behöver felsöka direkt.
Agenthälsoövervakning
Agenthälsoövervakning upptäcker tysta agentfel som ökade felfrekvenser, hög latens eller minskade svarsfrekvenser och meddelar dig nästan i realtid innan de förvärras till kundpåverkan. Där Agent Analytics lyfter fram trender över tid är Hälsoövervakning utformad för snabba svar: ange trösklar för de mått som är viktiga för din distribuering, meddelas när de överträds och fördjupa dig i sessionsspårningar för att hitta orsaken.
| Mått | Vad den berättar |
|---|---|
| Agentfelfrekvens | Procentandel av interaktioner som hade ett fel |
| Genomsnittlig interaktionslatens | Genomsnittlig tid (ms) det tar för agenten att svara på en interaktion |
| Omflyttningshastighet | Procentandel av interaktioner som flyttats om till en människa |
| Agentsvarsresultat | Procentandel av användare som fått ett agentsvar inom 60 sekunder |
Dessa mått visualiseras även på underfliken Hälsa i Agent Analytics.
Aviseringar
Varje varning bevakar ett mått för en agent. Systemet utvärderar varningar varje minut jämfört med de föregående 15 minuterna av data och skickar ett e-postmeddelande om en tröskel överskrids. Efter att en notis har aktiverats pausas samma varning i 30 minuter innan den kan notisera igen.
Notiser länkar varningen direkt till sessionerna som utlöste den. Varje notis visar den session som påverkas så att du kan gå direkt till spårningen utan att söka. Se Övervaka agenters hälsa för konfigurationskrav och behörigheter.
Övervaka agentskyddsräcken
Övervaka agentskyddsräcken ger dig en fokuserad vy av efterlevnad av instruktioner och uppgiftslösning — Trust Layer-utdata visades som dedikerade övervakningsmått, separat från den bredare Analytics-vyn. För distribueringar där efterlevnad av skyddsräcke är ett spårat krav — reglerade branscher, tillämpning av företagspolicy, varumärkessäkerhet — ger detta dig instruktioner och lösningstrender på ett och samma ställe, separat från prestanda- och kvalitetssignaler.
Nyckeltal som visas: Resultatområde för Agenthälsa — efterlevnad av instruktioner och uppgiftslösning.
Se Övervaka agentskyddsräcken för aktuella mått.
Övervaka din Voice-aktiverade agent
För röstdistribueringar kan arbetsledare övervaka aktiva samtal i realtid via fliken Agentforce i Omni Supervisor (Service Cloud Console). Detta skiljer sig från fliken Voice i Analytics, som visar historiska aggregerade data — Omni Supervisor är till för att titta på liveaktivitet, inte granska tidigare sessioner.
Fliken Agentforce i Omni Supervisor visar en lista över agenter i aktiva samtal och livesamtalsavskrifter. Den nås via Service Cloud Console, inte Agentforce Studio.
Nyckeltal som visas: Resultatområde för Agenthälsa — status och avskrift för livesamtal, inte historiskt i realtid. Se Övervaka din Voice-aktiverade agent för inställningar och arbetsledarkonfiguration.
Data 360-frågeredigerare och rapporter
För frågor som produktgränssnittet inte besvarar ger Data 360-frågeredigeraren dig direkt SQL-åtkomst till underliggande data. Sökfråga med DMO — den semantiska ingången till data — i alla fyra lager: STDM, Granskning och feedback, RAG-kvalitet och Agentoptimerare.
Du kan även bygga rapporter i Data 360 som hämtar relevant information från tillämpliga DMO. Mer information, inklusive vilka behörigheter som behövs, finns i Data 360-rapporter och -instrumentpaneler.
DMO för sessionsspårningsdatamodell (STDM):
AiAgentSessionDmo– sessionsnivåfakta: kanaltyp, sessionssluttyp, relaterade ID:n för röst-/meddelandesessionAiAgentSessionParticipantDmo— vem gick med: kontakt, lead, användare, agentens API-namnAiAgentInteractionDmo— ett varv, inkluderarTopicApiName(vilken underagent som hanterade det)AiAgentInteractionStepDmo— ett diskret steg med tidsstämplar ochErrorMessageTextför start och slutAiAgentInteractionMessageDmo– faktisk text för indata/utdata
DMO för granskning och feedback:
GenAiGatewayRequest— uppmaningen och sammanhanget som skickas till LLMGenAiGatewayResponse– LLM:s svarGenAiResponseGeneration– metadata på skapandenivåGenAiFeedback— feedbacksignaler från användareGenAiContentQuality– kvalitetsutvärderingsbetygGenAiContentQualityCategory— innehållskategoriklassificeringar
RAG-kvalitet:
AIRetrieverRequest(DLO) – hämtningsfrågan som skickas till Knowledge sourceAIRetrieverResponse(DLO) — det hämtade sammanhanget returneratAIRetrieverQualityMetric(DMO) — Svarsrelevans, betyg för Svarsrelevans och Sammanhangsrelevans
För Agentoptimerarobjekt, se Datamodell för agentoptimering.
Nyckeltal som visas: Alla resultatområden — alla nyckeltal som kan härledas från rådata i alla fyra infrastrukturlager.
Nästa steg är att ansluta dem till ytor. Du har definierat hur framgång ser ut för din agent och du vet vad verktygskedjan kan lyfta fram. Nu bygger arbetet en plan som mappar dina resultatområden till rätt signaler och rätt signaler till rätt verktyg. Denna plan är vad som förvandlar observerbarhet från en uppsättning funktioner till en repeterbar praxis.
