Inzicht in KPI's en tools van Agentforce Observability
Waarneembaarheid is geen enkel hulpmiddel. Het is een gelaagde toolchain die infrastructuur omvat die de activiteit van agenten vastlegt, ontwikkeltools om uw agent te testen vóór de implementatie en tools voor het bewaken van trends en details op sessieniveau na de implementatie.
Vereiste editions
| Beschikbaar in: Lightning Experience |
| Beschikbaar in: Enterprise, Performance, Unlimited en Developer Edition. Vereiste uitbreidingslicenties variëren per type agent. |
Weten welke laag wat doet, zorgt ervoor dat uw agent niet kan worden samengesteld tijdens de productie. In dit artikel wordt de volledige toolchain beschreven en elke sectie bevat koppelingen naar meer details.
Infrastructuur
Voordat een observatietool gegevens kan tonen of verwerken, heeft deze de onderliggende infrastructuur voor agenttelemetrie nodig. Schakel deze tools in zodat de rest van de toolchain gegevens heeft om mee te werken.
| Tool | Waar deze wordt weergegeven | Beschrijving |
|---|---|---|
| Agentforce Sessietracering | Set-up → Agentforce → Agentforce Sessietracering | Legt elke beurt, redeneringsstap, actie en bericht vast voor elke agentsessie. Dit moet zijn ingeschakeld voordat andere observatietools gegevens hebben. |
| Platformtracering voor agenten | Set-up → Snel zoeken → Einstein Generative AI → Einstein Audit, Analytics en Monitoring Set-up → Schakelaar voor Platformtracering voor agenten | Legt telemetrie op serviceniveau vast binnen de Atlas-redeneerengine, Apex, Stromen, Aanwijzingensamensteller, Aanroepbare acties, AI Gateway, LLM Gateway en DC Query Federator. |
| Audit en feedback | Set-up → Snel zoeken → Einstein Audit → Set-up van Einstein Audit, Analytics en Monitoring | Legt LLM-ingangen/-uitgangen, gegevens van ophaalkwaliteit, Trust evaluaties, vangrailuitgangen en feedbacksignalen van gebruikers vast. Stroomlijnt de kwaliteitsscores en Trust in Agent Analytics. |
| Knowledge / RAG-kwaliteitsgegevens en -meetgegevens | Set-up → Snel zoeken → Einstein Audit → Einstein Audit, Analytics en Monitoring Set-up → Knowledge / RAG-kwaliteitsgegevens en -meetgegevens | Scores ophalen kwaliteit zoals Antwoordtrouw, Antwoordrelevantie, Contextrelevantie, verwerkt via de Audit en Feedback pijplijn. Stuurt de meetgegevens voor ophalen aan in de kwaliteitsscores. |
| Vertrouwenslaag | Set-up → Snel zoeken → Einstein → Einstein Trust Layer | Scores voor naleving van instructie en toxiciteit afgeleid van LLM Gateway-uitvoer, verwerkt via de Audit- en feedbackpijplijn. Voorziet de Trust meetgegevens in Agent Analytics. |
Klik door naar elk van deze tools in Agentforce Observability Infrastructure.
Samenstellen en testen
Met tools voor samenstellen en testen kunt u het gedrag van agenten observeren tijdens de ontwikkeling, voordat er productieverkeer is.
| Tool | Waar deze wordt weergegeven | Beschrijving |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Samensteller | De primaire werkruimte voor herhalende agentontwikkeling en -tests. Voer gesprekken uit in de simulatiemodus zonder gegevens te schrijven of in de Live testmodus op basis van echte gegevens end-to-end. |
| Samenvatting van interacties | Agentforce Studio → Samensteller → Deelvenster Voorbeeld | Toont selectie van subagenten, uitvoering van acties en redenering voor een testgesprek. Klik door naar elk item voor stapsgewijze timing en subagentovergangen. |
| Testcentrum | Agentforce Studio → Agentforce-testcentrum | Batchevaluatie van Knowledge retrieval, selectie van subagenten en acties, en taakoplossing, vóór implementatie. Genereert en scoort uitingen in een testreeks met behulp van standaardscores, kwaliteitsscores en aangepaste scorers. Aangepaste scorers worden zichtbaar na de implementatie in Agent Analytics. |
Klik door naar elk van deze tools in Observabiliteitstools samenstellen en testen.
Observeren
Zodra uw agent is geïmplementeerd, houden de tools voor de fase Observeren trends bij voor alle sessies, zodat u specifieke gesprekken kunt onderzoeken en kunt doorklikken naar details op stapniveau.
| Tool | Waar deze wordt weergegeven | Beschrijving |
|---|---|---|
| Agent Analytics | Agentforce Studio → Observeren en optimaliseren → Analytics | Aggregeert prestatiegegevens voor alle sessies en maakt trends zichtbaar op uitkomstgebied in Tableau Next-dashboards. Tabbladen variëren per type agent en hebben betrekking op effectiviteit, gebruik, kwaliteit, gezondheid, Trust en spraak. |
| Optimalisering van agenten | Agentforce Studio → Observeren en optimaliseren → Optimalisering | Individuele sessieweergave met filteren op intent, uitkomst en kwaliteitsscore. Verwerkte sessies omvatten intentclustering en kwaliteitsscores; Niet-verwerkte sessies zijn onmiddellijk beschikbaar. |
| Samenvatting van interacties | Agentforce Studio → Observeren en optimaliseren → Detail van optimaliseringssessie | Gestructureerde analyse van een geselecteerde intent met subagenten die zijn geactiveerd, acties die zijn geactiveerd, kwaliteitsscore en door LLM gegenereerde redenering voor kwaliteitsscores. |
| Traceren | Agentforce Studio → Observeren en optimaliseren → Detail van optimaliseringssessie | Tijdgeordende record van elke verwerkingsstap met timing per stap en fouttekst. Direct beschikbaar, ook voor sessies die nog worden verwerkt. |
| Gezondheid van agent | Agentforce Studio → Waarschuwingen | Maak waarschuwingen en stel drempelwaarden in zodat u een kennisgeving ontvangt wanneer de activiteit van agenten acceptabele niveaus overschrijdt. |
| Agent vangrails bewaken | Agentforce Studio → Observeren en optimaliseren | Speciale weergave voor trends in naleving van instructies en taakoplossing, los van de bredere Analytics-weergave. |
| Uw via Voice ingeschakelde agent bewaken | Tabblad Agentforce in Omni Supervisor (Service Cloud Console) | Bijna realtime supervisorweergave van actieve voicecalls met live transcripties. |
| Data 360-queryeditor | Data 360 → Query's | Directe SQL-toegang tot alle vier onderliggende gegevenslagen voor aangepaste aggregaties, joins van kruisobjecten en analyses die de product-UI niet zichtbaar maakt. |
Klik door naar elk van deze tools in Observe Phase Observability Tools.
De toolchain werkt het best in de juiste volgorde. Begin met Infrastructuur om ervoor te zorgen dat gegevens stromen, gebruik Samenstellen en testen om problemen op te sporen vóór implementatie en gebruik Observeren om prestaties bij te houden en te onderzoeken na implementatie.
