Poängsättare och egna poängsättare (beta)

Där betygsättare visas i optimering och Analytics

• Nästa generations test — Skapa egna betygsättare som en del av en ny eller befintlig testsvit, förfina och publicera den.
• Betygsnav (Agentforce Studio) – Central plats för att visa, aktivera och hantera betygsättare.
• Tabellen Sessioner och syften — Sessioner visar betygsresultat; filtrera och analysera efter egna betygsdimensioner.
• Sessionssida — Sessioner visar associerade betygsetiketter och betyg.
• Analytics-instrumentpaneler — Egna betygsmått visas som mått för rapportering.

Överväganden och begränsningar

• Finns i Lightning Experience i Enterprise, Performance och Unlimited Editions med Salesforce Foundations eller Agentforce 1 Edition där Agentoptimering och Analytics har aktiverats.
• Egna betygsättare är i beta och kräver ingen ytterligare licens utöver Agentforce.
• Under beta stöds endast betygsättare på sessionsnivå.
• Egna betygsättare stöds inte för Agentforce Employee Agent-agenttyper (AEA).
• Agenttypen SDR visas i Scorer Hub men inte i agentmenyn Optimering UI.
• Standardbetyg (A&D, Kvalitetsbetyg) skapas när STDM provisioneras. Om de saknas, kontrollera om det finns ett provisioneringsproblem.
• Du måste klona en standardpoängsättare innan du redigerar den. Direktredigering stöds inte under beta.
• Uttrycksbaserade betygsättare kräver en boolesk utdatatyp.
• Numeriska betygsättare på en skala mellan 0 och 1 rekommenderas inte eftersom LLM presterar dåligt på mycket smala numeriska intervall.
• Testcentersessioner betygsätts inte av egna betygsättare. Testcentersessioner får ingen sluttidsstämpel, så den dataåtgärd som utlöser egen betygsättning aktiveras aldrig.

Översikt

Poängsättare utvärderar agentsessioner och skapar betyg, dimensioner (Textvärden) och mått (Numeriska värden). De är en del av Agentforce Optimering och observerbarhet. De körs automatiskt mot en konfigurerbar procentandel sessioner och lyfter fram resultat i Optimering och Analytics, så att administratörer och utvecklare kontinuerligt kan förbättra agenters prestanda.

Det finns två typer av betygsättare:

• Standardbetyg tillhandahålls av Salesforce färdigbyggda.
• Egna betygsättare definieras av din organisation för att utvärdera verksamhetsspecifika kriterier.

Standardbetygare

Standardbetygare är färdigbyggda utvärderingar som skapas automatiskt med STDM-provisionering. De körs på agentsessioner utan ytterligare kundkonfiguration.

Nuvarande standardbetyg

• Övergivandebetyg — Indikerar om kunden avslutade sessionen i förtid innan agenten löste sitt problem.
• Avledningsbetyg — Indikerar om agenten framgångsrikt avledde en interaktion från att kräva mänsklig omflyttning.
• Kvalitetsresultat — Mäter övergripande sessionskvalitet baserat på fördefinierade Salesforce-kriterier.

Standardbetygsättare använder en reserverad plats i användargränssnittet och är separata från den egna betygslistan.

Viktig

Det går inte att redigera en standardpoängsättare direkt. Klona den för att skapa en ny egen version med ändrad logik.

Egna betygsättare

Egna betygsättare låter dig definiera utvärderingslogik och tillämpa den på sessioner. De använder en LLM-as-a-judge-metod (snabbbaserad utvärdering) eller uttrycksbaserad logik för att märka, betygsätta eller klassificera sessioner mot dina kriterier.

Anteckning

Du skapar egna betygsättare i Next Gen Testing (NGT) i Agentforce Studio. Se Konfigurera och kör tester i Agentforce Studio (beta). Mer information finns i Next Gen Testing on Slack.

Egna betygsättare körs mot sessioner och lyfter fram egna betyg och dimensioner i Observability.

Hur egna betygsättare fungerar

En egen betygsättare backas upp av en uppmaningsmall som körs automatiskt som ett batchjobb när sessionen avslutas. Efter att en betygsättare körs på en session associeras sessionen med den betygsättaren och etiketter och betyg visas i Optimering och Analytics.

• En betygsättare är en uppmaningsmall som körs på en konfigurerbar procentandel sessioner (exempelfrekvens).
• Betyg tillämpas vid sessionens slut, inte under livekonversationen. Sessioner måste få en sluttidsstämpel för att betygsdataåtgärden ska aktiveras.
• Resultaten visas i Observerbarhet som egna mått.
• Du kan även utlösa betygsättare manuellt genom att använda den åberopbara åtgärden executeAgentforceScoresJob.
• Poängsättare påverkar inte agentens latens eller prestanda under livekonversationer eftersom betyg körs efter att sessionen avslutas.

Konfiguration av Poängsättare

Nyckelfält

Valideringsregler

• scorerApiName får inte redan finnas.
• promptTemplateRef måste finnas och vara aktiva.
• För datatypen Text: betygsvärden måste finnas; exakt ett värde måste ha isFallback: true; exakt ett måste ha isSystemFallback: true (endast när isFallback också är sant).
• För numerisk datatyp: inga grundvärden; värden måste tolkas som giltiga dubblar. Om du använder valuesSpecification: step måste vara större än 0; min måste vara mindre än max; threshold är valfritt men måste vara mellan min och max.
• Högsta antal betygsvärden: 101.

Utdatatyper

• Text (etiketter) — Betygssättaren tilldelar en av en uppsättning fördefinierade strängetiketter till varje session (till exempel Löst, Övergivet eller Omflyttat). Använd för kategorisk klassificering.
• Numerisk — Poängsättaren returnerar ett nummer i ett definierat intervall (till exempel 0–5). Passar kvalitetsbetyg och kontinuerliga betyg. LLM presterar vanligtvis bättre på diskreta skalor (som 0–5) än på smala 0–1-intervall.
• Boolesk (stretch eller future) — Returnerar sant eller falskt. Stöds för uttrycksbaserade betygsättare.

Kör betygssättare i produktion

Aktivera från fliken Poängsättare

När du har skapat och testat en egen betygsättare, aktivera den från Betygsnavet i Agentforce Optimering. Aktivering låter poängsättaren köra livesessioner med den konfigurerade provfrekvensen.

Kör från Salesforce-flöde

Vi tillhandahåller en ny åberopbar åtgärd, TriggerAgentBulkScoring, för att köra egna betygsättare asynkront i historiska sessioner. Denna åtgärd accepterar flera sessioner och betygsättare och är tillgänglig via:

• Salesforce-flöde
• REST API
• Apex

Åtgärdsnamn: TriggerAgentBulkScoring

Viktiga anteckningar

• Alla sessions-ID:n och scorerApiNames måste tillhöra samma agent.
• Se till att betygsättningsversionen är Tillgänglig innan körning.

REST API

Skicka en POST-begäran till standardåtgärdens REST-slutpunkt.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Exempel på belastning:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Använd den executeAgentforceScoresJob åberopbara åtgärden i Flöde. Åtgärden accepterar en lista över sessions-ID:n och betygsättare och skickar ett jobb till utvärderingspipeline. Vanliga användningsområden inkluderar:

• Köra betygsättare för historiska sessioner
• Batchanalys och egen rapportering
• Integrering med Agentforce Grid

Metadata API

Skapa och hantera egna betygsättare med Salesforce Metadata API så att du kan distribuera betygsättare i pro-code och DevOps-flöden, inklusive CI/CD-pipeline.

Användningsfall