Forstå KPI-er og verktøy for Agentforce
Observabilitet er ikke et enkelt verktøy. Det er en lagdelt verktøykjede som inkluderer infrastruktur som fanger opp agentaktivitet, utviklingsverktøy for å teste agentene før distribusjon, og overvåkingsverktøy som viser trender og øktnivådetaljer etter distribusjon.
Nødvendige utgaver
| Tilgjengelig i Lightning Experience |
| Tilgjengelig i Enterprise, Performance, Unlimited og Developer Edition. Nødvendige tilleggslisenser varierer etter agenttype. |
Å vite hvilket lag som gjør det som holder agenten observerbar fra å bygge gjennom produksjon. Denne artikkelen tilordner hele verktøykjeden, og hver del kobler til flere detaljer.
Infrastruktur
Før eventuelle observasjonsverktøy kan vise eller behandle data, trenger de den underliggende agent-telemetriinfrastrukturen. Aktiver disse verktøyene slik at resten av verktøykjeden har data å arbeide med.
| Verktøy | Hvor den vises | Beskrivelse |
|---|---|---|
| Agentforce-øktsporing | Oppsett → Agentforce → Agentforce øktsporing | Fanger opp hver omgang, årsakstrinn, handling og melding for hver agentøkt. Dette må være aktivert før et annet observasjonsverktøy har data. |
| Agentplattformsporing | Oppsett → Hurtigsøk → Einstein Generativ AI → Einstein Revisjon, Analytics og Overvåking Oppsett → Agent Plattformsporing-bryteren | Registrerer telemetri på tjenestenivå på tvers av Atlas-reaksjonsmotor, Apex, Flyter, Ledetekstbygger, Kallbare handlinger, AI-gateway, LLM-gateway og DC Query Federator. |
| Revisjon og tilbakemelding | Oppsett → Hurtigsøk → Einstein Revisjon → Einstein Revisjon, Analytics og Overvåking-oppsett | Fanger opp LLM-inndata/utdata, hentingskvalitetsdata, Trust, guardrail-utdata og tilbakemeldingssignaler fra brukere. Styrker kvalitetsscore og Trust i Agent Analytics. |
| Knowledge/RAG-kvalitetsdata og -målinger | Oppsett → Hurtigsøk → Einstein Revisjon → Einstein Revisjon, Analytics og Overvåking Oppsett → Knowledge/RAG-kvalitetsdata og -målinger | Scorer hentingskvalitet som Svartilfredshet, Svarrelevans, Kontekstrelevans, behandlet via Revisjon og Tilbakemelding under behandling. Leverer hentemålingene i kvalitetsscore. |
| Trust-lag | Oppsett → Hurtigsøk → Einstein → Einstein Trust Layer | Scorer instruksjonsoverholdelse og toksisitet utledet fra LLM Gateway-utdata, behandlet via Revisjon og tilbakemelding under behandling. Leverer Trust i Agent Analytics. |
Se nærmere på hvert av disse verktøyene i Agentforce Observability Infrastructure.
Bygge og teste
Med bygge- og testverktøy kan du observere agentvirkemåte under utvikling, før produksjonstrafikk finnes.
| Verktøy | Hvor den vises | Beskrivelse |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Bygger | Det primære arbeidsområdet for gjentagende agentutvikling og testing. Kjør samtaler i Simuleringsmodus uten å skrive data eller Live Test-modus mot ende-til-slutt-reelle data. |
| Interaksjonssammendrag | Agentforce Studio → Bygger → Forhåndsvisning-panel | Viser valg av underagent, utføring av handlinger og vurderinger for en testdiskusjon. Vis detaljer om alle elementer for trinnvis tid og underagentoverganger. |
| Testsenter | Agentforce Studio → Agentforce-testsenter | Gruppevurdering av Knowledge, underagent- og handlingsvalg og oppgaveløsning før distribusjon. Genererer og scorer ytringer i en testpakke med standard, kvalitets- og tilpassede scorere. Tilpassede scorere viser post-distribusjon i Agent Analytics. |
Se nærmere på hvert av disse verktøyene i Bygge og teste observasjonsverktøy.
Observer
Når agenten er distribuert, sporer observasjonsfaseverktøyene trender på tvers av alle økter, slik at du kan undersøke bestemte samtaler og se nærmere på detaljer på trinnnivå.
| Verktøy | Hvor den vises | Beskrivelse |
|---|---|---|
| Agent Analytics | Agentforce Studio → Observere og optimalisere → Analytics | Aggregerer ytelsesdata på tvers av alle økter og viser trender etter utfallsområde i Tableau Next-kontrollpaneler. Fanene varierer etter agenttype og dekker effektivitet, bruk, kvalitet, helse, Trust og stemme. |
| Agentoptimalisering | Agentforce Studio → Observere og optimalisere → Optimalisering | Individuell øktvisning med filtrering etter hensikt, utfall og kvalitetsscore. Behandlede økter inkluderer hensiktsklynger og kvalitetsresultater. Ikke-behandlede økter er tilgjengelig umiddelbart. |
| Interaksjonssammendrag | Agentforce Studio → Observere og optimalisere → Optimization-øktdetalj | Strukturert inndeling av en valgt hensikt som viser underagenter utløst, handlinger utløst, kvalitetscore og LLM-generert kvalitetscore. |
| Spor | Agentforce Studio → Observere og optimalisere → Optimization-øktdetalj | Tidsordnet post for hvert behandlingstrinn med tid og feiltekst per trinn. Tilgjengelig umiddelbart, inkludert for økter som fremdeles behandles. |
| Agents helse | Agentforce Studio → Varsler | Opprett varsler og angi terskler slik at du varsles når agentaktivitet bryter akseptable nivåer. |
| Monitor Agent Guardrails | Agentforce Studio → Observere og optimalisere | Dedikert visning for instruksjonsoverholdelse og oppgaveløsningstrender, atskilt fra den mer omfattende Analytics-visningen. |
| Overvåke Voice-aktivert agent | Agentforce i Omnileder (Service Cloud-konsoll) | Nær sanntids visning av aktive talesamtaler med direkteavskrifter for overordnet. |
| Data 360-spørringsredigering | Data 360 → Spørringer | Direkte SQL-tilgang til alle fire underliggende datalag for tilpassede aggregeringer, koblinger på tvers av objekter og analyser som produktgrensesnittet ikke viser. |
Se nærmere på hvert av disse verktøyene i Observer fasesporingsverktøy.
Verktøykjeden fungerer best i sekvens. Start med Infrastruktur for å sikre at data flyter, bruk Bygg og test til å fange opp problemer før distribusjon, og bruk Observer til å spore ytelse og undersøke etter distribusjon.
