Observeerbaarheidstools samenstellen en testen
Met tools voor samenstellen en testen kunt u het gedrag van agenten observeren tijdens de ontwikkeling, voordat er productieverkeer is. Testen in Agentforce Builder stelt u in staat om afzonderlijke gesprekken snel te herhalen, terwijl Testcentrum testen op schaal automatiseert.
Vereiste editions
| Beschikbaar in: Lightning Experience |
| Beschikbaar in: Enterprise, Performance, Unlimited en Developer Edition. Vereiste uitbreidingslicenties variëren per type agent. |
Met tools voor samenstellen en testen kunt u het gedrag van agenten observeren tijdens de ontwikkeling, voordat er productieverkeer is. Testen in de samensteller stelt u in staat om snel afzonderlijke gesprekken te herhalen, terwijl Testcentrum testen op schaal en voor een reeks invoer automatiseert.
Agentforce Builder
Agentforce Builder is de plaats waar u uw agent ontwikkelt en herhaalt voordat deze klaar is voor bredere tests of implementatie. Met Voorbeeld kunt u testgesprekken in real-time uitvoeren en precies zien hoe de agent reageert. U kunt een voorbeeld van gesprekken bekijken in de simulatie- of live testmodus:
- Simuleren imiteert basaal gespreksgedrag van agenten zonder gegevens te schrijven of te wijzigen. Gebruik dit om snelle aanpassingen te valideren zonder live records aan te raken.
- Live Test voert acties uit op echte gegevens end-to-end. Gebruik dit wanneer u moet controleren of acties correct worden geactiveerd en records worden bijgewerkt zoals verwacht. Deze modus geeft u een volledig beeld van het feitelijke gedrag van uw agent.
Voor elk voorbeeldgesprek biedt de Samensteller diverse tools om te onderzoeken wat er is gebeurd. Resultaten zijn op sessieniveau en onmiddellijk, inclusief routering van subagenten, actie-uitvoering en responskwaliteit voor het te testen gesprek. Begin met de samenvatting van interacties en ga vervolgens naar behoefte dieper.
Samenvatting van interacties
Het uitgangspunt voor elk voorbeeldonderzoek. Beschikbaar voor elke gespreksbeurt tijdens het gesprek — u hoeft niet te wachten tot deze is voltooid. Het biedt een overzicht op hoog niveau van de stappen die uw agent heeft ondernomen om een respons te genereren, inclusief het resultaat van elke stap. Beweeg de muisaanwijzer over een stap voor meer details. Het bevat ook een door AI gegenereerde uitleg van het proces van uw agent, die helpt de stappen in context te plaatsen. Als u niet zeker weet wat een resultaat betekent, kan Agentforce het gedrag van uw agent verklaren, volgende stappen voorstellen of oplossingen voor agenten aanbrengen. Wanneer hier iets mis lijkt, gaat het tabblad Traceren dieper in op de details.
Tabblad Traceren
Toont volledige traceringsgegevens voor die stap, inclusief elke agentevent, verstreken tijd en technische details. Klik door naar een agentevent om een JSON-weergave te openen van de volledige LLM-aanwijzing van de agent, inclusief systeemaanwijzingen.
Zie Agentforce Builder Testen als u een voorbeeld van uw agent wilt bekijken en testen in Agentforce Builder.
Testcentrum en -scorers
Testcentrum is de plaats waar de pre-implementatiezijde van de observatielus vorm krijgt. Hier bevestigt u dat uw agent presteert op schaal voordat er klanten bij betrokken zijn, stelt u de baselines voor kwaliteit en prestaties vast waarmee u productiesignalen gaat vergelijken, en definieert u de scorers die na implementatie worden overgedragen naar Analytics, waardoor de lus tussen gegevenssignalen van vóór en na de implementatie wordt gesloten.
In het Testcentrum kunt u de werking van subagenten, actie-uitvoering, Knowledge retrieval, aanwijzingssjablonen en aangepaste criteria testen die specifiek zijn voor uw vereisten. De testresultaten tonen de kwaliteit van de respons, de correctheid van de subagent en de actie, de naleving van de instructies en de latentie, allemaal vóór de implementatie, per testcase.
Scorers
Scorers zijn de evaluatiecriteria die het Testcentrum gebruikt om de uitvoer van agenten te beoordelen. Veel ervan worden rechtstreeks toegewezen aan de meetgegevens die u in Agent Analytics gaat bewaken, terwijl configuraties van aangepaste scorers na implementatie worden doorgevoerd als productie-KPI's.
| Laag | Scorers | Wat het evalueert |
|---|---|---|
| Standaard | Reactiescorer, Subagentdefinitie, Actiedefinitie | Of de juiste subagent is geselecteerd, de juiste actie is gestart en de respons acceptabel is. |
| Kwaliteit | Volledigheid, samenhang, nauwkeurigheid, latentie, naleving van instructies | Hoe goed de respons was, niet alleen of het is geslaagd. Deze omvatten samenhang, volledigheid, beknoptheid, latentie en naleving van instructies als afzonderlijke dimensies. |
| Aangepast | Criteria die uw implementatie vereist en die standaardscorers niet kunnen dekken, zoals "branding voice", domeinnauwkeurigheid, toon of gebruikscasespecifieke naleving. | |
| Door gebruiker gedefinieerde labels | Retourneert een waarde uit een door u gedefinieerde lijst. Gebruik dit voor classificatie, uitvoer in opsommingsstijl of nalevingslabels zoals "brand voice pass/fail", goedgekeurde reactiecategorieën en dergelijke. | |
| Gebruiker gedefinieerd Open | Retourneert onbeperkte uitvoer, tekst, een getal, een URL. Gebruik dit wanneer u uitgebreidere of verkennende resultaten nodig hebt die niet kunnen worden vastgelegd in een vaste lijst. | |
| Aanwijzingssjabloon | Samenhang, Beknoptheid, Volledigheid, Feitelijkheid, Instructie volgen, Reactieovereenkomst | Uitvoerkwaliteit voor prompte sjabloontestuitvoeringen, inclusief feitelijkheid, responsovereenkomsten en de standaardkwaliteitsdimensies die zijn toegepast op sjabloonuitvoer. |
Zie Tests instellen en uitvoeren in Agentforce Studio (bèta) als u tests wilt instellen en uitvoeren in het Testcentrum.
