Scorer og tilpassede scorere (beta)

Hvor score vises i optimalisering og Analytics

• Next Gen Testing – Lag tilpassede scorere som en del av en ny eller eksisterende testpakke, begrens og publiser den.
• Scorer Hub (Agentforce Studio) – sentralt sted for å vise, aktivere og behandle scorere.
• Tabell over økter og hensikter – Økter viser scoreresultater, filtrerer og analyserer etter tilpassede scoredimensjoner.
• Session Page – Økter viser tilknyttede scoringsetiketter og score.
• Analytics-kontrollpaneler – Tilpassede scoremålinger vises som målinger for rapportering.

Considerations and Limitations

• Tilgjengelig i Lightning Experience i Enterprise, Performance og Unlimited Edition med Salesforce Foundations eller Agentforce 1 Edition der agentoptimalisering og Analytics er aktivert.
• Tilpassede scorere er i beta og krever ingen ekstra lisens utover Agentforce.
• Under beta støttes bare score på øktnivå.
• Tilpassede scorere støttes ikke for agenttypene Agentforce (AEA).
• SDR-agenttypen vises i Scorer Hub, men ikke i rullegardinlisten Optimization UI-agent.
• Standard scorere (A&D, Quality Score) opprettes når STDM klargjøres. Hvis de mangler, ser du etter et klargjøringsproblem.
• Du må klone en standard score før du redigerer den. Direkte redigering støttes ikke i betaversjon.
• Uttrykksbaserte scorere krever en boolsk utdatatype.
• Numeriske scorere på en skala fra 0 til 1 anbefales ikke fordi LLM-er gjør det dårlig i svært smale tallområder.
• Testing Center-økter scores ikke av tilpassede scorere. Testing Center-økter mottar ikke et sluttidsstempel, så datahandlingen som utløser evaluering av tilpasset score, utløses aldri.

Oversikt

Scorer evaluerer agentøkter og genererer score, dimensjoner (tekstverdier) og målinger (tallverdier). De er en del av Agentforce Optimization og Observability. De kjører automatisk mot en konfigurerbar prosentandel økter og viser resultater i Optimization og Analytics, slik at administratorer og utviklere kan forbedre agentytelsen kontinuerlig.

Det finnes to typer scorere:

• Standard scorere leveres av Salesforce forhåndsdefinert.
• Tilpassede scorere defineres av organisasjonen for å evaluere forretningsspesifikke kriterier.

Standard scorere

Standard scorere er forhåndsbygde evalueringer som opprettes automatisk med STDM-klargjøring. De kjører på agentøkter uten ytterligere kundekonfigurasjon.

Gjeldende standard score

• Avbrytelsesscore – Angir om kunden avsluttet økten for tidlig før agenten løste problemet.
• Defleksjonsscore – Angir om agenten kunne avverge en interaksjon fra å kreve human eskalering.
• Kvalitetsscore – Måler den generelle øktekvaliteten basert på forhåndsdefinerte Salesforce-kriterier.

Standard scorere bruker et reservert sted i brukergrensesnittet og er atskilt fra den tilpassede scorelisten.

Viktig

Du kan ikke redigere en standard score direkte. Klon den for å opprette en ny tilpasset versjon med endret logikk.

Tilpassede scorer

Tilpassede scorere lar deg definere evalueringslogikk og bruke den på økter. De bruker en LLM-tilnærming som en dommer (ledetekstbasert evaluering) eller uttrykksbasert logikk til å merke, score eller klassifisere økter mot kriteriene dine.

Merk

Du oppretter tilpassede scorere i Next Gen Testing (NGT) i Agentforce Studio. Se Konfigurere og kjøre tester i Agentforce Studio (beta). Hvis du vil ha mer informasjon, kan du se Nestegenerasjonstesting på Slack.

Tilpassede scorere kjører mot økter og viser tilpassede score og dimensjoner i Observability.

Slik fungerer tilpassede scorere

En tilpasset scoring støttes av en ledetekstmal som automatisk kjøres som en gruppejobb når økten avsluttes. Etter at en scoring er kjørt i en økt, knyttes økten til denne scoringen, og etiketter og score vises i Optimalisering og Analytics.

• En scoring er en ledetekstmal som kjører på en konfigurerbar prosentdel økter (eksempelsats).
• Score brukes ved øktslutt, ikke under direktesamtalen. Økter må motta et sluttidsstempel for at scoredatahandlingen skal utløses.
• Resultater vises i Observability som tilpassede målinger.
• Du kan også utløse scorere manuelt ved å bruke den kallbare handlingen executeAgentforceScoresJob.
• Scorer påvirker ikke agentens latens eller ytelse under direktesamtaler fordi score kjøres etter at økten har blitt avsluttet.

Scorekonfigurasjon

Nøkkelfelt

Valideringsregler

• scorerApiName må ikke finnes allerede.
• promptTemplateRef må finnes og være aktivt.
• For datatypen Tekst: Scorerverdier må eksistere; nøyaktig én verdi må ha isFallback: true; nøyaktig én verdi må ha isSystemFallback: true (bare når isFallback også er sann).
• For talldatatype: ingen reservaverdier, verdier må analyseres som gyldige dobbeltverdier. Hvis du bruker valuesSpecification: step må være større enn 0; min må være mindre enn max; threshold er valgfritt, men må være mellom min og max.
• Maksimalt antall scoringsverdier: 101.

Utdatatyper

• Tekst (etiketter) – Scorer tildeler én av et sett forhåndsdefinerte strengetiketter til hver økt (for eksempel Løst, Avbrutt eller Eskalert). Brukes til kategorisk klassifisering.
• Tall – Scorer returnerer et tall i et definert område (for eksempel 0–5). Egnet for kvalitetsrangeringer og kontinuerlig score. LLM-er gjør vanligvis det bedre i diskrete skalaer (som 0–5) enn i smale 0–1-områder.
• Boolsk (strekk eller fremtid) – Returnerer sann eller usann. Støttes for uttrykksbaserte scorere.

Kjøre score i produksjon

Aktiver fra Scorer-fane

Når du har opprettet og testet en tilpasset scorer, aktiverer du den fra Scorer Hub i Agentforce Optimalisering. Aktivering lar scoringen kjøre på direkteøkter med den konfigurerte prøvefrekvensen.

Kjør fra Salesforce-flyt

Vi tilbyr en ny kallbar handling, TriggerAgentBulkScoring, for å utføre tilpassede scorere asynkront i historiske økter. Denne handlingen godtar flere økter og scorere og er tilgjengelig via

• Salesforce-flyt
• REST API
• Apex

Navn: TriggerAgentBulkScoring

Viktige merknader

• Alle økt-ID-er og scorerApiNames må tilhøre samme agent.
• Kontroller at scoringsversjonen er Tilgjengelig før utføring.

REST API

Send en POST-forespørsel til REST-sluttpunktet for standardhandlinger.

/services/data/v66.0/handlinger/standard/triggerAgentBulkScoring

Eksempelbelastning:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Bruk den kallbare handlingen executeAgentforceScoresJob i Flyt. Handlingen godtar en liste over økt-ID-er og scorere og sender en jobb til evaluering under behandling. Vanlige bruksområder er:

• Kjøre scoring på historiske økter
• Gruppeanalyse og tilpasset rapportering
• Integrasjon med Agentforce

Metadata-API

Opprett og behandle tilpassede scorere med Salesforce Metadata API, slik at du kan distribuere scorere i Pro-code- og DevOps-arbeidsflyter, inkludert CI/CD pipelines.

Bruksområder