Observer værktøjer til faseobservation

Agent Analytics (Agentanalyser)

Agent Analytics er det sted, hvor du overvåger din agents ydeevne over tid. Den aggregerer data på tværs af alle sessioner og viser tendenser i et sæt af dashboards drevet af Tableau Next. Dette er udgangspunkt for ethvert observationsfasespørgsmål. Se her først for at forstå, hvad der opstår tendenser, før du går til værktøjer på sessionsniveau.

Ydeevneindsigter

Ydeevneindsigter er trinnet mellem at se en tendens og at dykke ned i sessioner. Før du åbner Agentoptimering, skal du bruge den til at opdele enhver metrik efter underagent, hensigt eller handling, så du ved nøjagtigt, hvor du skal se hen i stedet for at gennemse sessioner tilfældigt

Se Agent Analytics for at få opsætningskrav og tilladelser.

Agentoptimering

Når Analytics viser et mønster, og du har brug for at forstå, hvad der driver det, er Agentoptimering det næste, du skal gøre. Den giver dig en visning i individuelle agentbrugersamtaler – så du kan filtrere, gennemse og åbne specifikke sessioner for at se, hvad der faktisk skete. To visninger:

• Behandlede sessioner – hensigt udtrukket, klynget og kvalitet scoret. Tilgængelig 4-5 timer efter sessionens lukning. Tabelkolonner: Sessions-id, tidsstempel, varighed, resultat, tilpassede scoringsbetegnelser, hensigtssammendrag, svarsammendrag, underagenter udløst, handlinger udløst, hensigtstag, kvalitetsscore.
• Ikke-behandlede sessioner – aktive, seneste eller stadig under behandling. Fanen Sporing er tilgængelig med det samme – du behøver ikke at vente på hensigtsbehandling for at starte fejlfinding.

Hensigtsklynge er det, der adskiller mønsterregistrering fra sessions-for-sessionsgennemgang. Klyngepipelinen kører ugentligt og grupperer lignende hensigter efter semantisk lighed, når et klyngetag akkumulerer 10 eller flere matchende hensigter. Når klynger er dannet, kan du filtrere efter klynge for at vise alle sessioner, hvor brugere har spurgt den samme ting på forskellige måder – den hurtigste sti til at identificere systematiske fejlmønstre i stedet for at gennemse sessioner en efter en.

KPI'er vist: Resultatområderne Agentpåvirkning og Agenteffektivitet – resultat på sessionsniveau, kvalitetsscore og hensigtsmønstre.

Hvad den ikke kan gøre: Aggreger metrikker på tværs af sessioner (brug Analytics). Sessioner via mail i realtid afspejles ikke med det samme.

Det viser resultater på sessionsniveau, kvalitetsscore og hensigtsmønstre. Se Agentoptimering for at få vist aktuelle sessionskolonner og filtre.

Fanen Interaktionssammendrag

Når du åbner en session i Agentoptimering og vælger en hensigt, giver fanen Interaktionssammendrag dig en struktureret opdeling af, hvad der skete for den pågældende hensigt:

• Agentnavn, gnsn. agentforsinkelse (ms), samlede interaktioner, hensigtsvarighed
• Emner (underagenter) udløst, handlinger udløst
• Hensigtstag, kvalitetsscore (Høj/Mellem/Lav)
• Kvalitetsscoring – en LLM-genereret forklaring på, hvorfor kvalitetsscoren blev tildelt

Kvalitetsscoring er det, der konverterer en score til en retning. For en score af lav kvalitet fortæller argumenteringsfeltet dig ofte direkte, hvad evaluatoren fandt – forkert underagent, ufuldstændigt svar, manglende instruktion, hentningsfejl – på naturligt sprog. Det er den hurtigste sti fra "kvalitet er lav" til "her er hvad du skal undersøge", før du åbner fanen Sporing.

Den er ikke tilgængelig, før hensigtsbehandling er fuldført (4 til 5 timer efter sessionen). Hvis du ønsker øjeblikkelig fejlretning, skal du starte med fanen Spor.

Spor fane

Også tilgængelig fra en session i Agentoptimering, giver fanen Sporing dig en tidsorteret registrering af hvert behandlingstrin – underagentidentifikation, handlingsvalg, distribution, variabelopdateringer, hentning og svargenerering. Hvert trin viser en statusindikator og tid, og indlejrede trin kan udvides for underagentdelegation.

Fanen Sporing er det primære analyseværktøj til grundlæggende årsager. Hvert andet værktøj fortæller dig hvad, f.eks. en metrik flyttet, en kvalitetsscore droppet, eller en session mislykkedes. Fanen Sporing fortæller dig, hvor og hvorfor, herunder hvilket trin der mislykkedes, hvad fejlmeddelelsen var, hvor tiden blev brugt, og hvad hentningen returnerede.

Trintyper: hensigtshåndtering, underagentdistribution, filtre, hentninger, variabelopdateringer og handlingskørsel. Hvert trin har start- og sluttidsstempler og ErrorMessageText. For SOMA-implementeringer (multi-agent) skal du udvide ethvert trin, hvor en underagent blev kaldt for at gå i detaljer med indlejrede trin.

Arbejde med fejl: Forespørg på ErrorMessageText på AiAgentInteractionStepDmo__dlm via SOQL, og filtrer sentinelværdier ud (NOT_SET, Ingen, tom streng) for at isolere virkelige fejl.

KPI'er vist: Forsinkelse på trinniveau for agenttilstandsresultatområde, fejlplacering og kørselssekvens.

Tilgængelig med det samme, selv for ikke-behandlede sessioner. Vent ikke på hensigtsbehandling, hvis du har brug for at fejlfinde det lige nu.

Agenttilstandsovervågning

Agenttilstandsovervågning registrerer silent agentfejl som spiking-fejlfrekvenser, høj forsinkelse eller faldende svarfrekvenser og adviserer dig i næsten realtid, før de sammensættes til kundepåvirkning. Hvor Agent Analytics viser tendenser over tid, er Tilstandsovervågning designet til at reagere hurtigt: Angiv tærskler på de metrikker, der betyder noget for din implementering, få besked, når de bryder, og gå i detaljer med sessionsspor for at finde årsagen.

Disse metrikker visualiseres også på underfanen Tilstand i Agent Analytics.

Alarmer

Hver advarsel overvåger en metrik for en agent. Systemet evaluerer advarsler hvert minut op mod de tidligere 15 minutters data og sender en mailadvisering, når en tærskel overtrædes. Når en advisering udløses, sættes den samme advarsel på pause i 30 minutter, før den kan advisere igen.

Adviseringer linker advarslen direkte til de sessioner, der udløste den. Hver advisering viser den påvirkede session, så du kan gå direkte til sporingen uden at søge. Se Overvåg agenttilstand for at få opsætningskrav og tilladelser.

Overvåg agentvagter

Monitor Agent Guardrails giver dig en fokuseret visning af instruktionsoverholdelse og opgaveløsning – Trust Layer-outputs vises som dedikerede overvågningsmetrikker, adskilt fra den bredere Analytics-visning. For implementeringer, hvor guardrail-overensstemmelse er et sporet krav – regulerede brancher, håndhævelse af virksomhedspolitikker, brandsikkerhed – giver dette dig instruktionsoverholdelse og opgaveløsningstendenser på et sted, adskilt fra ydeevne- og kvalitetssignaler.

KPI'er vist: Resultatområde for agenttilstand – instruktionsoverholdelse og opgaveløsning.

Se Overvåg agentvagter for at få de aktuelle metrikker.

Overvåg din Voice-aktiverede agent

For voice-implementeringer kan supervisorer overvåge aktive opkald i realtid via fanen Agentforce i Omni Supervisor (Service Cloud-konsol). Dette er forskelligt fra fanen Voice i Analytics, der viser historiske aggregerede data – Omni Supervisor er til at se liveaktivitet, ikke gennemse tidligere sessioner.

Fanen Agentforce i Omni Supervisor viser en liste over agenter på aktive opkald og opkaldsafskrifter. Du får adgang til den via Service Cloud-konsollen, ikke Agentforce Studio.

KPI'er vist: Resultatområde for agenttilstand – Live-opkaldsstatus og -afskrift, realtid ikke historisk. Se Overvåg din Voice-aktiverede agent for at få vist opsætning og supervisorkonfiguration.

Data 360-forespørgselseditor og rapporter

For spørgsmål, som produktbrugergrænsefladen ikke besvarer, giver Data 360-forespørgselseditoren dig direkte SQL-adgang til de underliggende data. Forespørg ved brug af DMO'er – det semantiske indgangspunkt til dataene – på tværs af alle fire lag: STDM, Revision og feedback, RAG-kvalitet og Agent Optimizer.

Du kan også opbygge rapporter i Data 360, der henter relevante oplysninger fra de gældende DMO'er. Hvis du vil vide mere, herunder nødvendige tilladelser, kan du se Data 360-rapporter og -dashboards.

Sessionssporingsdatamodel-DMO'er (STDM):

• AiAgentSessionDmo — fakta på sessionsniveau: kanaltype, sessionssluttype, relaterede id'er for voice/meddelelsessession
• AiAgentSessionParticipantDmo — der tiltrådte: kontakt, emne, bruger, agent API-navn
• AiAgentInteractionDmo – en omgang; inkluderer TopicApiName (hvilken underagent håndterede den)
• AiAgentInteractionStepDmo – ét særskilt trin med start- og sluttidsstempler og ErrorMessageText
• AiAgentInteractionMessageDmo — faktisk input/outputtekst

Revider og feedback-DMO'er:

• GenAiGatewayRequest – meddelelsen og konteksten, der sendes til LLM
• GenAiGatewayResponse — LLM's svar
• GenAiResponseGeneration — metadata på genereringsniveau
• GenAiFeedback – brugersignaler
• GenAiContentQuality — kvalitetsevalueringsscores
• GenAiContentQualityCategory — klassificeringer af indholdskategorier

RAG-kvalitet:

• AIRetrieverRequest (DLO) – hentningsforespørgslen sendt til Knowledge-kilden
• AIRetrieverResponse (DLO) — den hentede kontekst returneret
• AIRetrieverQualityMetric (DMO) — Scores for svarfidelighed, svarrelevans og kontekstrelevans

For Agent Optimizer-objekter kan du se Agentoptimeringsdatamodel.

KPI'er vist: Alle resultatområder – enhver KPI, der kan afledes fra rå data på tværs af alle fire infrastrukturlag.

Det næste trin er at tilslutte dem til overflader. Du har defineret, hvordan succes ser ud for din agent, og du ved, hvad værktøjskæden kan vise sig. Nu opbygger arbejdet en plan, der tilknytter dine resultatområder til de rigtige signaler og de rigtige signaler til de rigtige værktøjer. Denne plan er det, der omdanner observation fra et sæt af funktioner til en gentagelig praksis.