Scorer og tilpassede scorer (beta)

Hvor scores vises i Optimering og Analytics

• Next Gen Testing – Opret tilpassede scorere som en del af en ny eller en eksisterende testsuite, juster og udgiv den.
• Scorer Hub (Agentforce Studio) – Centralt sted til at se, aktivere og administrere scorere.
• Sessioner og hensigter tabel – Sessioner viser scoringsresultater, filtrere og analysere efter tilpassede scoringsdimensioner.
• Sessionsside – Sessioner viser tilknyttede scoringsbetegnelser og scores.
• Analytics-dashboards – Tilpassede scoringsmål vises som metrikker til rapportering.

Considerations and Limitations

• Tilgængelig i Lightning Experience i Enterprise, Performance og Unlimited Edition med Salesforce Foundations eller Agentforce 1 Edition, hvor Agentoptimering og Analytics er aktiveret.
• Tilpassede scorer er i beta og kræver ingen yderligere licens udover Agentforce.
• Under beta understøttes kun scoringer på sessionsniveau.
• Tilpassede scoringer understøttes ikke for agenttyper af typen Agentforce (AEA).
• SDR-agenttype vises i Scorer Hub, men ikke i rullelisten Agent for optimeringsbrugergrænseflade.
• Standardscores (A&D, Quality Score) oprettes, når STDM er klargjort. Hvis de mangler, skal du kontrollere for et klargøringsproblem.
• Du skal duplikere en standardscorer, før du redigerer den. Direkte redigering understøttes ikke under beta.
• Udtryksbaserede scoringer kræver en boolesk outputtype.
• Numeriske scorer på en skala på 0-1 anbefales ikke, da LLM'er klarer sig dårligt i meget smalle numeriske områder.
• Testcenter-sessioner scores ikke af tilpassede scorere. Testcenter-sessioner modtager ikke et sluttidsstempel, så den datahandling, der udløser evaluering af tilpasset scoring, udløses aldrig.

Oversigt

Scorer evaluerer agentsessioner og genererer scores, dimensioner (tekstværdier) og mål (numeriske værdier). De er en del af Agentforce Optimization og Observability. De kører automatisk op mod en konfigurerbar procentdel af sessioner og viser resultater i Optimering og Analytics, så administratorer og udviklere kan forbedre agentydeevnen kontinuerligt.

Der findes to typer af scoringer:

• Standardscorer leveres af Salesforce, som er klar til brug.
• Tilpassede scoringer defineres af din organisation for at evaluere forretningsspecifikke kriterier.

Standardscorer

Standardscores er evalueringer, der er bygget på forhånd, og som oprettes automatisk med STDM-provisionering. De kører på agentsessioner uden yderligere kundekonfiguration.

Aktuelle standardpoint

• Annulleringsscore – Angiver, om kunden afsluttede sessionen før tid, før agenten løste deres problem.
• Deflection Score – Angiver, om agenten med succes afledt en interaktion fra at kræve human eskalering.
• Kvalitetsscore – Måler den generelle sessionskvalitet baseret på foruddefinerede Salesforce-kriterier.

Standardscores bruger en reserveret placering i brugergrænsefladen og er adskilt fra den tilpassede scoringsliste.

Vigtigt

Du kan ikke redigere en standardpoint direkte. Dupliker den for at oprette en ny tilpasset version med ændret logik.

Tilpassede scorer

Tilpassede scorer giver dig mulighed for at definere evalueringslogik og anvende den på sessioner. De bruger en LLM-as-a-judge-tilgang (meddelelsesbaseret evaluering) eller udtryksbaseret logik til at betegne, score eller klassificere sessioner i forhold til dine kriterier.

Bemærk

Du opretter tilpassede scorere i Next Gen Testing (NGT) i Agentforce Studio. Se Opsæt og kør test i Agentforce Studio (beta). Hvis du ønsker yderligere oplysninger, kan du se Next Gen Testing på Slack.

Tilpassede scorer kører op mod sessioner og viser tilpassede scores og dimensioner i Observation.

Sådan fungerer tilpassede scoringer

En tilpasset scoring understøttes af en meddelelsesskabelon, der kører automatisk som et batchjob, når sessionen slutter. Når en scoring er kørt på en session, knyttes sessionen til denne scoring, og betegnelser og scores vises i Optimering og Analytics.

• En scoring er en meddelelsesskabelon, der kører på en konfigurerbar procentdel af sessioner (eksempelsats).
• Scores anvendes ved sessionens afslutning, ikke under den direkte samtale. Sessioner skal modtage et sluttidsstempel, før scoringsdatahandlingen skal udløses.
• Resultater vises i Observation som tilpassede mål.
• Du kan også udløse scorere manuelt ved brug af handlingen executeAgentforceScoresJob, der kan kaldes.
• Scores påvirker ikke agentens forsinkelse eller ydeevne under live-samtaler, da scoring køres, når sessionen er afsluttet.

Score-konfiguration

Nøglefelter

Valideringsregler

• scorerApiName må ikke allerede eksistere.
• promptTemplateRef skal eksistere og være aktive.
• For datatypen Tekst: der skal findes scoringsværdier; nøjagtigt én værdi skal have isFallback: true; nøjagtigt én skal have isSystemFallback: true (kun når isFallback også er sand).
• For numerisk datatype: ingen tilbagerulningsværdier. Værdier skal parse som gyldige dubletter. Hvis du bruger valuesSpecification: step skal være større end 0; min skal være mindre end max; threshold er valgfrit, men skal være mellem min og max.
• Maksimalt antal scoringsværdier: 101.

Outputtyper

• Tekst (betegnelser) – Scorer tildeler et af et sæt foruddefinerede strengbetegnelser til hver session (f.eks. Løst, Afvist eller Eskaleret). Bruges til kategorisk klassificering.
• Numerisk – Scoren returnerer et tal i et defineret område (f.eks. 0-5). Tilpasset til kvalitetsvurderinger og kontinuerlige scores. LLM'er klarer sig typisk bedre på særskilte skalaer (f.eks. 0-5) end på smalle 0-1-områder.
• Boolesk (strækning eller fremtid) – Returnerer sandt eller falsk. Understøttet for udtryksbaserede scoringer.

Kør scorere i produktion

Aktiver fra fanen Scorer

Når du har oprettet og testet en tilpasset score, skal du aktivere den fra Scorer Hub i Agentforce Optimization. Aktivering gør det muligt for scoren at køre på live-sessioner med den konfigurerede eksempelsats.

Kør fra Salesforce-forløb

Vi leverer en ny handling, der kan kaldes, TriggerAgentBulkScoring, til at udføre tilpassede scorere asynkront på historiske sessioner. Denne handling accepterer flere sessioner og scoringer og er tilgængelig via:

• Salesforce-forløb
• REST API
• Apex

Handlingsnavn: TriggerAgentBulkScoring

Vigtige bemærkninger

• Alle sessions-id'er og scorerApiNames skal høre til den samme agent.
• Sørg for, at scoringsversionen er Tilgængelig før kørsel.

REST API

Send en POST-anmodning til standardhandlings-REST-slutpunktet.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Eksempel på data:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Brug handlingen executeAgentforceScoresJob, der kan kaldes i Forløb. Handlingen accepterer en liste over sessions-id'er og scoringer og indsender et job til evalueringspipelinen. Almindelige anvendelser omfatter:

• Kørsel af scoringer på historiske sessioner
• Batchanalyse og tilpasset rapportering
• Integration med Agentforce

Metadata API

Opret og administrer tilpassede scorere med Salesforce Metadata API, så du kan implementere scorere i pro-code- og DevOps-arbejdsflows, herunder CI/CD-pipelines.

Anvendelsessituationer