Verktøy for observasjon av faseobservasjon

Agent Analytics

Agent Analytics er stedet der du overvåker agentens ytelse over tid. Den samler data på tvers av alle økter og viser trender i et sett kontrollpaneler som leveres av Tableau Next. Dette er utgangspunktet for eventuelle Observer-fasespørsmål. Se her først for å forstå hva som er trend før du går til verktøy på øktnivå.

Ytelsesinnsikt

Ytelsesinnsikt er trinnet mellom å se en trend og å gå inn i økter. Før du åpner Agentoptimalisering, bruker du den til å dele opp eventuelle målinger etter underagent, hensikt eller handling, slik at du vet nøyaktig hvor du skal se ut i stedet for å se gjennom økter tilfeldig

Se Agent Analytics for å få oppsettkrav og tillatelser.

Agentoptimalisering

Når Analytics viser et mønster og du trenger å forstå hva som driver det, er Agentoptimalisering det neste du gjør. Den gir deg en oversikt over individuelle agentbrukersamtaler slik at du kan filtrere, bla gjennom og åpne bestemte økter for å se hva som faktisk skjedde. To visninger:

• Behandlede økter – hensikt trukket ut, klynget og kvalitetsscore. Tilgjengelig 4–5 timer etter avslutning av økten. Tabellkolonner: Økt-ID, tidsstempel, varighet, utfall, tilpassede scoringsetiketter, hensiktssammendrag, svarsammendrag, underagenter utløst, handlinger utløst, hensiktskode, kvalitetscore.
• Ubehandlede økter – aktive, nylige eller fremdeles under behandling. Spor-fanen er tilgjengelig umiddelbart – du trenger ikke å vente på hensiktsbehandling for å starte feilsøking.

Hensiktsklynger skiller mønsteroppdagelse fra økt-for-økt-gjennomgang. Clustering Pipeline kjører ukentlig og grupperer lignende hensikter etter semantisk likhet når en klyngekode akkumulerer 10 eller flere samsvarende hensikter. Når klynger er dannet, kan du filtrere etter klynge for å vise alle økter der brukere spurte det samme på forskjellige måter – den raskeste banen til å identifisere systematiske feilmønstre i stedet for å se gjennom økter én etter én.

KPI-er presentert: Utfallsområdene Agentinnvirkning og Agenteffektivitet – øktnivåutfall, kvalitetscore og hensiktsmønstre.

Hva den ikke kan gjøre: Aggreger målinger på tvers av økter (bruk Analytics); økter via e-post i sanntid gjenspeiles ikke umiddelbart.

Den viser øktnivåutfall, kvalitetsscore og hensiktsmønstre. Se Agentoptimalisering for å finne gjeldende øktkolonner og filtre.

Interaksjonssammendrag-fane

Når du åpner en økt i Agentoptimalisering og velger en hensikt, gir Interaksjonssammendrag-fanen deg en strukturert oversikt over hva som skjedde med den hensikten:

• Agentnavn, avg agentlatens (ms), totalt antall interaksjoner, hensiktsvarighet
• Emner (underagenter) utløst, handlinger utløst
• Hensiktkode, kvalitetsscore (Høy/Medium/Lav)
• Viktige punkter om kvalitetsscore – en LLM-generert forklaring av hvorfor kvalitetsscoren ble tildelt

Vurdering av kvalitetscore er det som konverterer en score til en retning. For en score med lav kvalitet forteller argumenteringsfeltet deg ofte direkte hva evalueringen fant – feil underagent, ufullstendig svar, manglende instruksjon, feil henting – på naturlig språk. Det er den raskeste banen fra "kvalitet er lavt" til "her er hva som skal undersøkes" før du åpner Sporing-fanen.

Den er ikke tilgjengelig før hensiktsbehandling er fullført (4 til 5 timer etter økt). For umiddelbar feilsøking starter du med Sporing-fanen.

Sporefane

Sporing-fanen er også tilgjengelig fra en økt i Agentoptimalisering, og gir deg en tidsortert post for hvert behandlingstrinn – underagentidentifikasjon, handlingsvalg, ruting, variabeloppdateringer, henting og generering av svar. Hvert trinn viser en statusindikator og en tidsperiode, og nestede trinn kan utvides for underagentdelegering.

Spor-fanen er det primære verktøyet for rotårsaksanalyse. Alle andre verktøy forteller deg hva, som en måling som er flyttet, en kvalitetsscore som er tapt eller en økt som mislyktes. Spor-fanen forteller deg hvor og hvorfor, inkludert hvilket trinn som mislyktes, hva feilmeldingen var, hvor tiden ble brukt og hva henting returnerte.

Trinntyper: Håndtering av hensikter, underagentruting, filtre, henting, variabeloppdateringer og utføring av handlinger. Hvert trinn har start- og sluttidsstempler og ErrorMessageText. For distribusjoner med flere agenter (SOMA) utvider du eventuelle trinn der en underagent ble kalt opp for å vise detaljer om nestede trinn.

Arbeide med feil: Spør ErrorMessageText på AiAgentInteractionStepDmo__dlm via SOQL og filtrer ut sentinellverdier (NOT_SET, Ingen, tom streng) for å isolere virkelige feil.

KPI-er presentert: Latens på trinnnivå for Agenttilstand-utfallsområde, feilplassering og utførelsessekvens.

Tilgjengelig umiddelbart, også for ikke-behandlede økter. Ikke vent til hensiktsbehandling hvis du trenger å feilsøke akkurat nå.

Agenttilstandsovervåking

Agenttilstandsovervåking oppdager stille agentfeil som feilfrekvenser med høy hastighet, høy latens eller fallende responsfrekvenser, og varsler deg i nær sanntid før de sammensettes til kundeinnvirkning. Der Agent Analytics viser trender over tid, er tilstandsovervåking utformet for raske svar: angi terskler for målingene som er viktige for distribusjonen, bli varslet når de blir brutt, og se nærmere på øktsporing for å finne årsaken.

Disse målingene visualiseres også på Underfanen Tilstand i Agent Analytics.

Varsler

Hvert varsel overvåker én måling for én agent. Systemet evaluerer varsler hvert minutt mot de forrige 15 minuttene med data og sender et e-postvarsel når en terskel overtres. Etter at et varsel har blitt utløst, stanses det samme varselet midlertidig i 30 minutter før det kan varsle på nytt.

Varsler kobler varselet direkte til øktene som utløste det. Hvert varsel viser den berørte økten slik at du kan gå direkte til sporingen uten å søke. Se Overvåke agenttilstand for å få oppsettkrav og tillatelser.

Overvåke agentforsyninger

Med Monitor Agent Guardrails får du en fokusert oversikt over instruksjonsoverholdelse og oppgaveløsning – Trust Layer-utdataene vises som dedikerte overvåkingsmålinger, atskilt fra den generelle Analytics-visningen. For distribusjoner der overholdelse av kravene i sikkerhetslinjen er et sporet krav – regulerte bransjer, gjennomføring av virksomhetens policyer, merkeprofileringssikkerhet – gir dette deg trender for instruksjonsoverholdelse og oppgaveløsning på ett sted, atskilt fra ytelses- og kvalitetsignaler.

KPI-er presentert: Utfallsområde Agenttilstand – instruksjonsoverholdelse og oppgaveløsning.

Se Monitor Agent Guardrails for å få gjeldende målinger.

Overvåke den taleaktiverte agenten

For taledistribusjoner kan overordnede overvåke aktive samtaler i sanntid via Agentforce i Omnileder (Service Cloud-konsoll). Dette er forskjellig fra Voice-fanen i Analytics, som viser historiske samlede data – Omnileder er for å se på aktivitet på nettet, ikke for å se gjennom tidligere økter.

Fanen Agentforce i Omnileder viser en liste over agenter i aktive samtaler og avskrifter av direktesamtaler. Det åpnes via Service Cloud-konsollen, ikke Agentforce Studio.

KPI-er presentert: Utfallsområde for agenttilstand – Live-samtalestatus og avskrift, sanntids, ikke historikk. Se Overvåke Voice-aktivert agent for oppsett og konfigurasjon av overordnet.

Data 360-spørringsredigering og rapporter

Hvis produktgrensesnittet ikke besvarer spørsmål, gir Data 360-spørringsredigeringen deg direkte SQL-tilgang til de underliggende dataene. Spørring med DMO-er – det semantiske inngangspunktet til dataene – på tvers av alle fire lag: STDM, Revisjon og tilbakemelding, RAG-kvalitet og Agent Optimizer.

Du kan også bygge rapporter i Data 360 som trekker ut relevant informasjon fra de aktuelle DMO-ene. Hvis du vil vite mer, inkludert nødvendige tillatelser, kan du se Data 360-rapporter og -kontrollpaneler.

DMO-er for øktsporingsdatamodell (STDM):

• AiAgentSessionDmo — Fakta på øktnivå: kanaltype, øktsluttype, relaterte tale/meldingsøkt-ID-er
• AiAgentSessionParticipantDmo — som ble med: API-navn for kontakt, salgsemne, bruker, agent
• AiAgentInteractionDmo – én omgang; inkluderer TopicApiName (hvilken underagent som håndterte den)
• AiAgentInteractionStepDmo – ett separat trinn med start- og sluttidsstempler og ErrorMessageText
• AiAgentInteractionMessageDmo – faktisk inndata/utdatatekst

Revisjons- og tilbakemeldings-DMO-er:

• GenAiGatewayRequest – ledeteksten og konteksten sendt til LLM
• GenAiGatewayResponse — LLMs svar
• GenAiResponseGeneration – metadata på generasjonsnivå
• GenAiFeedback – tilbakemeldingssignaler fra brukere
• GenAiContentQuality – kvalitetsvurderingsscore
• GenAiContentQualityCategory — klassifisering av innholdskategorier

RAG-kvalitet:

• AIRetrieverRequest (DLO) – hentespørringen sendt til Knowledge-kilden
• AIRetrieverResponse (DLO) – den hentede konteksten returnert
• AIRetrieverQualityMetric (DMO) — Svarfakturering, Svarrelevans og Kontekstrelevans-score

Hvis du vil vite mer om Agent Optimizer-objekter, kan du se Agentoptimalisering-datamodellen.

KPI-er presentert: Alle utfallsområder – eventuelle viktige ytelsesindikatorer som kan utledes fra rådata på tvers av alle fire infrastrukturlag.

Det neste trinnet er å koble dem til overflater. Du har definert hvordan suksess ser ut for agenten, og du vet hva verktøykjeden kan vise. Nå bygger arbeidet en plan som tilordner utfallsområdene til de riktige signalene, og de riktige signalene til de riktige verktøyene. Den planen er det som gjør det mulig å observere fra et sett funksjoner til en gjentagende praksis.