Scorers en aangepaste scores (bèta)

Waar scorers worden weergegeven in Optimalisering en Analytics

• Next Gen Testing: aangepaste scorers maken als onderdeel van een nieuwe of bestaande testreeks, deze verfijnen en publiceren.
• Scorer Hub (Agentforce Studio) — Centrale plaats om scorers weer te geven, te activeren en te beheren.
• Sessies en intents-tabel — Sessies tonen scorerresultaten; filter en analyseer op aangepaste scorerdimensies.
• Sessiepagina — Sessies tonen gekoppelde scorerlabels en scores.
• Analytics-dashboards: aangepaste scorermeeteenheden worden weergegeven als meetgegevens voor rapportage.

Overwegingen en beperkingen

• Beschikbaar in Lightning Experience in de Enterprise, Performance en Unlimited Edition met Salesforce Foundations of Agentforce 1 Edition waarin Optimalisering van agenten en Analytics zijn ingeschakeld.
• Aangepaste scores zijn in bèta en vereisen geen extra licentie buiten Agentforce.
• Tijdens bèta worden alleen scorers op sessieniveau ondersteund.
• Aangepaste scorers worden niet ondersteund voor agenttypen van Agentforce Employee Agent (AEA).
• Type SDR-agent wordt wel weergegeven in de Scorer Hub, maar niet in de vervolgkeuzelijst voor agenten van de Optimaliserings-UI.
• Standaardscorers (A&D, Kwaliteitsscore) worden gemaakt wanneer STDM wordt aangeleverd. Als ze ontbreken, controleert u op een leveringsprobleem.
• U moet een standaardscorer klonen voordat u deze bewerkt. Direct bewerken wordt niet ondersteund tijdens bèta.
• Op expressies gebaseerde scorers vereisen een Booleaans uitvoertype.
• Numerieke scorers op een schaal van 0–1 worden niet aanbevolen, omdat LLM's slecht presteren op zeer smalle numerieke bereiken.
• Testcentrumsessies worden niet gescoord door aangepaste scorers. Testcentrumsessies krijgen geen eindtijdstempel, waardoor de gegevensactie die de evaluatie van aangepaste scorers activeert, nooit wordt geactiveerd.

Overzicht

Scorers evalueren agentsessies en genereren scores, dimensies (tekstwaarden) en meeteenheden (numerieke waarden). Ze maken deel uit van Agentforce Optimalisering en Waarneembaarheid. Ze worden automatisch uitgevoerd op basis van een configureerbaar percentage sessies en worden zichtbaar in Optimalisering en Analytics, zodat beheerders en ontwikkelaars de prestaties van agenten continu kunnen verbeteren.

Er zijn twee soorten scorers:

• Standaardscorers worden kant-en-klaar geleverd door Salesforce.
• Aangepaste scorers worden door uw organisatie gedefinieerd om bedrijfsspecifieke criteria te evalueren.

Standaardscorers

Standaardscorers zijn vooraf samengestelde evaluaties die automatisch worden gemaakt met STDM-leveringen. Ze worden uitgevoerd op agentsessies zonder extra klantconfiguratie.

Huidige standaardscorers

• Score voor verlaten: geeft aan of de klant de sessie voortijdig heeft beëindigd voordat de agent het probleem heeft opgelost.
• Omleidingsscore — Geeft aan of de agent met succes een interactie heeft omgeleid, zodat er geen menselijke escalatie nodig was.
• Kwaliteitsscore: meet de algemene sessiekwaliteit op basis van vooraf gedefinieerde Salesforce-criteria.

Standaardscorers gebruiken een gereserveerde locatie in de gebruikersinterface en staan los van de lijst van aangepaste scorers.

Belangrijk

U kunt een standaardscorer niet rechtstreeks bewerken. Kloon deze om een nieuwe aangepaste versie met gewijzigde logica te maken.

Aangepaste scores

Met aangepaste scorers kunt u evaluatielogica definiëren en toepassen op sessies. Ze gebruiken een LLM-as-a-judge-benadering (op aanwijzing gebaseerde evaluatie) of op expressie gebaseerde logica om sessies te labelen, scoren of classificeren op basis van uw criteria.

Opmerking

U maakt aangepaste scorers in Next Gen Testing (NGT) in Agentforce Studio. Zie Tests instellen en uitvoeren in Agentforce Studio (bèta). Zie Next Gen Testing on Slack voor meer informatie.

Aangepaste scorers worden uitgevoerd tegen sessies en maken aangepaste scores en dimensies zichtbaar in Waarneembaarheid.

Hoe aangepaste scores werken

Een aangepaste scorer wordt ondersteund door een aanwijzingssjabloon die automatisch als batchtaak wordt uitgevoerd wanneer de sessie eindigt. Nadat een scorer een sessie heeft uitgevoerd, wordt de sessie gekoppeld aan die scorer en worden labels en scores weergegeven in Optimalisering en Analytics.

• Een scorer is een aanwijzingssjabloon die wordt uitgevoerd op een configureerbaar percentage sessies (voorbeeldscore).
• Scores worden toegepast aan het einde van de sessie, niet tijdens het live gesprek. Sessies moeten een eindtijdstempel krijgen om de actie voor scoregegevens te activeren.
• Resultaten worden in Waarneembaarheid weergegeven als aangepaste meeteenheden.
• U kunt scorers ook handmatig via een trigger activeren met behulp van de aanroepbare actie executeAgentforceScoresJob.
• Scorers hebben geen invloed op de latentie of prestaties van de agent tijdens live gesprekken, omdat scores worden uitgevoerd nadat de sessie is beëindigd.

Configuratie van scorer

Sleutelvelden

Validatieregels

• scorerApiName mag niet al bestaan.
• promptTemplateRef moet bestaan en actief zijn.
• Voor het gegevenstype Tekst: scorerwaarden moeten bestaan; precies één waarde moet isFallback: true hebben; precies één moet isSystemFallback: true hebben (alleen wanneer isFallback ook true (waar) is).
• Voor het gegevenstype Numeriek: geen reservewaarden; waarden moeten worden geparseerd als geldige dubbele waarden. Als u valuesSpecification gebruikt: step moet groter zijn dan 0; min moet kleiner zijn dan max; threshold is optioneel, maar moet tussen min en max liggen.
• Maximale aantal scorerwaarden: 101.

Uitvoertypen

• Tekst (labels): de scorer wijst een van een set vooraf gedefinieerde tekenreekslabels toe aan elke sessie (bijvoorbeeld Opgelost, Stopgezet of Geëscaleerd). Gebruik voor categorische classificatie.
• Numeriek: de scorer retourneert een getal in een gedefinieerd bereik (bijvoorbeeld 0–5). Geschikt voor kwaliteitsbeoordelingen en continue scores. LLM's presteren doorgaans beter op discrete schalen (zoals 0–5) dan op smalle 0–1-bereiken.
• Booleaans (stretch of future): retourneert true (waar) of false (onwaar). Ondersteund voor op expressies gebaseerde scorers.

Scorers uitvoeren in productie

Activeren vanaf tabblad Scorer

Nadat u een aangepaste scorer hebt gemaakt en getest, activeert u deze vanuit de Scorer Hub in Agentforce Optimalisering. Door activering kan de scorer live sessies uitvoeren met de geconfigureerde voorbeeldscore.

Uitvoeren vanuit Salesforce Flow

We bieden een nieuwe aanroepbare actie, TriggerAgentBulkScoring, om aangepaste scorers asynchroon uit te voeren voor historische sessies. Deze actie accepteert meerdere sessies en scores en is toegankelijk via:

• Salesforce-stroom
• REST-API
• Apex

Actienaam TriggerAgentBulkScoring:

Belangrijke notities

• Alle sessie-ID's en scorerApiNames moeten tot dezelfde agent behoren.
• Zorg ervoor dat de scorerversie Beschikbaar is vóór uitvoering.

REST-API

Verzend een POST-aanvraag naar het REST-eindpunt van de standaardactie.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Voorbeeld van payload:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Gebruik de aanroepbare actie executeAgentforceScoresJob in Flow. De actie accepteert een lijst van sessie-ID's en -scorers en dient een taak in bij de evaluatiepijplijn. Veel voorkomende toepassingen zijn:

• Scorers uitvoeren voor historische sessies
• Batchanalyse en aangepaste rapportage
• Integratie met Agentforce Grid

API voor metagegevens

Maak en beheer aangepaste scorers met de Salesforce-API voor metagegevens zodat u scorers kunt implementeren in pro-code- en DevOps-werkstromen, inclusief CI/CD-pijplijnen.

Gebruikscases