Observeerbaarheidstools voor observatiefase
Zodra uw agent is geïmplementeerd, verschuift de waarneembaarheid van gecontroleerde evaluatie naar live bewaking. Deze fase richt zich op het identificeren en bijhouden van trends binnen alle sessies, het onderzoeken van specifieke gesprekken en doorklikken naar wat er precies is gebeurd op stapniveau.
Vereiste editions
| Beschikbaar in: Lightning Experience |
| Beschikbaar in: Enterprise, Performance, Unlimited en Developer Edition. Vereiste uitbreidingslicenties variëren per type agent. |
Agent Analytics
Agent Analytics is de plaats waar u de prestaties van uw agent in de loop van de tijd bewaakt. Het aggregeert gegevens over alle sessies en maakt trends zichtbaar in een set dashboards die worden aangestuurd door Tableau Next. Dit is het uitgangspunt voor elke vraag over de observatiefase. Kijk eerst hier om te begrijpen wat trending is voordat u naar tools op sessieniveau gaat.
| Tabblad | Wat het toont | Waar het voor is | Gegevensbron |
|---|---|---|---|
| Overzicht | Overzichtskaarten voor alle gebieden | Snelle gezondheidscontrole voor alle dimensies in een oogopslag | STDM + Audit & Feedback + RAG Kwaliteit |
| Doeltreffendheid | Omleidingsscore, Escalatiescore, Stopzettingsscore, Betrokkenheidsscore, Successcore, Taakoplossingsscore | Bijhouden of de agent zijn taak voltooit en volume afhandelen | STDM |
| Gebruik | Unieke sessies, Unieke interacties, Unieke gebruikers, Gem. interacties/sessie | Inzicht in acceptatie- en betrokkenheidspatronen | STDM |
| Kwaliteitsscores | Kwaliteitsscore, Antwoordtrouw, Antwoordrelevantie, Contextrelevantie | Kwaliteit van LLM-uitvoer en nauwkeurigheid van ophalen beoordelen | Audit en feedback + RAG-kwaliteit |
| Status | Agentinteractielatentie, sessieduur, foutenpercentage | Operationele prestaties en stabiliteit bewaken | STDM |
| Trust | Responsscore naleving, gemiddelde toxiciteitsscore agent | Controleren of de agent instructies opvolgt en binnen de inhoudsgrenzen blijft | Audit en feedback + Trust Layer |
| Voice | Onderbrekingspercentage | Gespreksstroom bewaken voor agenten met spraakondersteuning | STDM (alleen agenten met spraakondersteuning) |
| Gebruikerstevredenheid | Tellingen van duimen omhoog/omlaag en trend | Signalen van directe feedback van gebruikers bijhouden | Audit en feedback (alleen Agent voor medewerker) |
| Prestatie-insights | Uitsplitsingen van meetgegevens op subagent, intent of actie | Een trend beperken tot een specifieke subagent of actie voordat u naar sessies gaat | STDM + Audit & Feedback |
Prestatie-insights
Performance Insights is de stap tussen het zien van een trend en het verkennen van sessies. Voordat u Agentoptimalisering opent, gebruikt u het om meetgegevens op te splitsen op subagent, intent of actie, zodat u precies weet waar u moet kijken in plaats van sessies willekeurig te beoordelen
Zie Agent Analytics voor set-upvereisten en machtigingen.
Agentoptimalisering
Wanneer Analytics een patroon zichtbaar maakt en u moet begrijpen wat de drijfveer is, is Optimalisering van agenten de volgende stap. Het biedt een weergave van afzonderlijke gesprekken tussen agenten en gebruikers, waardoor u specifieke sessies kunt filteren, doorbladeren en openen om te zien wat er daadwerkelijk is gebeurd. Twee weergaven:
- Verwerkte sessies: intent geëxtraheerd, geclusterd en met kwaliteitsscore. Beschikbaar 4–5 uur na sessie sluiten. Tabelkolommen: Sessie-ID, tijdstempel, duur, uitkomst, aangepaste scorerlabels, intentsamenvatting, responssamenvatting, subagenten geactiveerd, acties geactiveerd, intenttag, kwaliteitsscore.
- Niet-verwerkte sessies: actief, recent of nog in behandeling. Tabblad Traceren is onmiddellijk beschikbaar. U hoeft niet te wachten op de verwerking van intents om foutopsporing te starten.
Clusteren van intents onderscheidt patroondetectie van beoordeling per sessie. De clusterpijplijn wordt wekelijks uitgevoerd en groepeert soortgelijke intents op semantische gelijksoortigheid zodra een clustertag 10 of meer overeenkomende intents heeft verzameld. Zodra er clusters zijn gevormd, kunt u filteren op cluster om alle sessies zichtbaar te maken waarin gebruikers op verschillende manieren hetzelfde hebben gevraagd. Dit is de snelste manier om systematische foutpatronen te identificeren in plaats van sessies één voor één te beoordelen.
KPI's naar boven: Uitkomstgebieden Impact van agent en Effectiviteit van agent: uitkomst op sessieniveau, kwaliteitsscore en intentpatronen.
Wat het niet kan doen: Aggregeer meetgegevens over sessies (gebruik Analytics); sessies via e-mail in real-time worden niet onmiddellijk weergegeven.
Het toont uitkomst op sessieniveau, kwaliteitsscore en intentpatronen. Zie Agentoptimalisering voor huidige sessiekolommen en filters.
Tabblad Interactiesamenvatting
Wanneer u een sessie opent in Agentoptimalisering en een intent selecteert, geeft het tabblad Samenvatting van interactie u een gestructureerde analyse van wat er voor die intent is gebeurd:
- Agentnaam, gemiddelde agentlatentie (ms), totaal aantal interacties, intentduur
- Onderwerpen (subagenten) geactiveerd, acties geactiveerd
- Intent-tag, kwaliteitsscore (Hoog/Normaal/Laag)
- Redenering voor kwaliteitsscore — een door LLM gegenereerde verklaring waarom de kwaliteitsscore is toegewezen
Redeneren voor kwaliteitsscores is wat een score converteert naar een richting. Voor een lage kwaliteitsscore geeft het redeneringsveld vaak direct aan wat de beoordelaar heeft gevonden (verkeerde subagent, onvolledige respons, gemiste instructie, mislukt ophalen) in natuurlijke taal. Het is het snelste pad van "kwaliteit is laag" naar "dit is wat u moet onderzoeken", voordat u het tabblad Traceren opent.
Deze is pas beschikbaar nadat de intentverwerking (4 tot 5 uur na de sessie) is voltooid. Begin voor onmiddellijk foutopsporing met het tabblad Traceren.
Tabblad Traceren
Het tabblad Traceren is ook toegankelijk vanuit een sessie in Agentoptimalisering en biedt een tijdgeordende record van elke verwerkingsstap: identificatie van subagenten, actieselectie, routering, variabele updates, ophalen en genereren van reacties. Elke stap toont een statusindicator en timing, terwijl geneste stappen kunnen worden uitgevouwen voor subagentdelegatie.
Het tabblad Traceren is de primaire tool voor analyse van de hoofdoorzaak. Elke andere tool vertelt u wat, zoals een meetgegeven verplaatst, een kwaliteitsscore gedaald of een sessie mislukt. Op het tabblad Traceren ziet u waar en waarom, inclusief welke stap is mislukt, wat het foutbericht was, waar tijd is doorgebracht en wat het ophalen heeft geretourneerd.
Staptypen: intentverwerking, routering van subagenten, filters, ophalen, variabelenupdates en uitvoering van acties. Elke stap heeft begin- en eindtijdstempels en ErrorMessageText. Vouw voor SOMA-implementaties (multi-agent) elke stap uit waarin een subagent is aangeroepen om door te klikken naar geneste stappen.
Werken met fouten: Voer een query uit op ErrorMessageText op AiAgentInteractionStepDmo__dlm via SOQL en filter sentinelwaarden (NOT_SET, Geen, lege tekenreeks) uit om echte fouten te isoleren.
KPI's naar boven: Latentie op stapniveau, foutlocatie en uitvoeringsvolgorde van uitkomstgebied Agentstatus.
Direct beschikbaar, zelfs voor niet-verwerkte sessies. Wacht niet op intentverwerking als u nu fouten moet opsporen.
Bewaking van de gezondheid van agenten
Agent Health Monitoring detecteert storingen van stille agenten, zoals pieken in foutscores, hoge latentie of dalende reactiescores, en informeert u in vrijwel realtime voordat deze leiden tot gevolgen voor de klant. Waar Agent Analytics trends in de loop van de tijd zichtbaar maakt, is Health Monitoring ontworpen voor snelle reactie: stel drempelwaarden in voor de meetgegevens die belangrijk zijn voor uw implementatie, ontvang een kennisgeving wanneer er inbreuk op wordt gemaakt, en klik door naar sessiesporen om de oorzaak te vinden.
| Metric | Wat het u vertelt |
|---|---|
| Foutpercentage agent | Percentage interacties met een fout |
| Gemiddelde interactielatentie | Gemiddelde tijd (ms) die de agent nodig heeft om te reageren op een interactie |
| Escalatiescore | Percentage interacties dat is geëscaleerd naar een mens |
| Reactiescore agent | Percentage gebruikersbeurten dat binnen 60 seconden een reactie van een agent heeft ontvangen |
Deze meetgegevens worden ook gevisualiseerd op het subtabblad Gezondheid van Agent Analytics.
Waarschuwingen
Elke waarschuwing bewaakt één meetgegeven voor één agent. Het systeem evalueert elke minuut waarschuwingen op basis van de vorige 15 minuten aan gegevens en verzendt een kennisgeving per e-mail wanneer een drempelwaarde wordt overschreden. Nadat een kennisgeving is geactiveerd, wordt dezelfde waarschuwing gedurende 30 minuten onderbroken voordat deze opnieuw kan worden geïnformeerd.
Kennisgevingen koppelen de waarschuwing rechtstreeks aan de sessies die de waarschuwing hebben geactiveerd. Elke kennisgeving toont de betroffen sessie, zodat u direct naar de tracering kunt gaan zonder te zoeken. Zie Agentstatus bewaken voor set-upvereisten en machtigingen.
Agenten vangrails bewaken
Agent Guardrails bewaken biedt een gerichte weergave van naleving van instructies en taakoplossing — de Trust Layer-uitvoer wordt weergegeven als speciale meetgegevens voor bewaking, los van de bredere Analytics-weergave. Voor implementaties waarbij naleving van vangrail een bijgehouden vereiste is — gereguleerde sectoren, afdwingen van ondernemingsbeleid, merkveiligheid — biedt dit op één plaats trends in naleving van instructies en taakoplossing, los van prestatie- en kwaliteitssignalen.
KPI's naar boven: Uitkomstgebied Gezondheid van agent: naleving van instructies en taakoplossing.
Zie Agent Guardrails bewaken voor actuele meetgegevens.
Uw via spraak ingeschakelde agent bewaken
Voor spraakimplementaties kunnen supervisors actieve gesprekken in realtime bewaken via het tabblad Agentforce in Omni Supervisor (Service Cloud Console). Dit verschilt van het tabblad Voice in Analytics, dat historische geaggregeerde gegevens toont: Omni Supervisor is bedoeld voor het bekijken van live activiteit, niet voor het beoordelen van sessies uit het verleden.
Het tabblad Agentforce in Omni Supervisor toont een lijst van agenten voor actieve gesprekken en live gesprekstranscripties. Het is toegankelijk via de Service Cloud Console, niet Agentforce Studio.
KPI's naar boven: Uitkomstgebied Gezondheid van agent: live gespreksstatus en transcriptie, real-time niet historisch. Zie Uw spraakgestuurde agent bewaken voor de set-up en configuratie voor supervisors.
Data 360 Queryeditor en rapporten
Voor vragen die de product-UI niet beantwoordt, geeft de Data 360 Queryeditor u directe SQL-toegang tot de onderliggende gegevens. Query uitvoeren met behulp van DMO's — het semantische invoerpunt naar de gegevens — voor alle vier lagen: STDM, Audit en feedback, RAG-kwaliteit en Agent Optimizer.
U kunt ook rapporten samenstellen in Data 360 die relevante informatie ophalen uit de van toepassing zijnde DMO's. Zie Data 360-rapporten en -dashboards voor meer informatie, inclusief vereiste machtigingen.
DMO's voor gegevensmodel voor sessietracering (STDM):
AiAgentSessionDmo— feiten op sessieniveau: kanaaltype, sessie-eindtype, gerelateerde ID's van spraak-/berichtenverkeerssessiesAiAgentSessionParticipantDmo— wie is er lid geworden: contactpersoon, lead, gebruiker, API-naam agentAiAgentInteractionDmo— één beurt; omvatTopicApiName(welke subagent het heeft afgehandeld)AiAgentInteractionStepDmo: één afzonderlijke stap met tijdstempels voor begin en einde enErrorMessageTextAiAgentInteractionMessageDmo— feitelijke invoer-/uitvoertekst
DMO's voor controle en feedback:
GenAiGatewayRequest: de aanwijzing en context die naar de LLM zijn verzondenGenAiGatewayResponse— de reactie van de LLMGenAiResponseGeneration— metagegevens op generatieniveauGenAiFeedback— feedbacksignalen van gebruikersGenAiContentQuality— kwaliteitsevaluatiescoresGenAiContentQualityCategory— inhoudscategorieclassificaties
RAG-kwaliteit:
AIRetrieverRequest(DLO) — de ophaalquery die naar de Knowledge source is verzondenAIRetrieverResponse(DLO) — de opgehaalde context geretourneerdAIRetrieverQualityMetric(DMO) — Scores voor Antwoordtrouw, Antwoordrelevantie en Contextrelevantie
Zie Gegevensmodel Agentoptimalisering voor Agent Optimizer-objecten.
KPI's naar boven: Alle uitkomstgebieden: elke KPI die kan worden afgeleid van de ruwe gegevens voor alle vier de infrastructuurlagen.
De volgende stap is het verbinden ervan met oppervlakken. U hebt gedefinieerd hoe succes eruitziet voor uw agent en u weet wat de toolchain kan opleveren. Nu is het werk aan het samenstellen van een plan dat uw uitkomstgebieden toewijst aan de juiste signalen en de juiste signalen aan de juiste tools. Dat plan is wat waarneembaarheid van een set voorzieningen omzet in een herhaalbare praktijk.
