Scorer und benutzerdefinierte Scorer (Beta)

Anzeigen von Scorern in Optimierung und Analytics

• Tests der nächsten Generation: Erstellen Sie benutzerdefinierte Scorer als Teil einer neuen oder vorhandenen Test-Suite, optimieren und veröffentlichen Sie sie.
• Scorer Hub (Agentforce Studio): Zentraler Ort zum Anzeigen, Aktivieren und Verwalten von Scorern.
• Tabelle 'Sitzungen und Intents': In Sitzungen werden Scorer-Ergebnisse angezeigt. Filtern und analysieren Sie nach benutzerdefinierten Scorer-Dimensionen.
• Sitzungsseite: In Sitzungen werden die zugehörigen Scorer-Bezeichnungen und -Bewertungen angezeigt.
• Analytics-Dashboards: Benutzerdefinierte Scorer-Maßeinheiten werden als Kennzahlen für Berichte angezeigt.

Überlegungen und Einschränkungen

• Verfügbar in Lightning Experience in der Enterprise, Performance und Unlimited Edition mit Salesforce Foundations oder Agentforce 1 Edition mit aktivierter Agentenoptimierung und Analytics.
• Benutzerdefinierte Scorer befinden sich in der Beta-Version und erfordern keine zusätzliche Lizenz über Agentforce hinaus.
• Während der Beta-Phase werden nur Scorer auf Sitzungsebene unterstützt.
• Benutzerdefinierte Scorer werden für Agentforce Employee Agent (AEA)-Agententypen nicht unterstützt.
• Der SDR-Agententyp wird im Scorer Hub, nicht jedoch im Dropdown-Menü "Optimierungsbenutzeroberflächen-Agent" angezeigt.
• Standardbewertungen (A&D, Qualitätsbewertung) werden erstellt, wenn STDM bereitgestellt wird. Wenn sie fehlen, suchen Sie nach einem Bereitstellungsproblem.
• Sie müssen einen Standard-Scorer duplizieren, bevor Sie ihn bearbeiten. Die direkte Bearbeitung wird während der Beta-Phase nicht unterstützt.
• Ausdrucksbasierte Scorer erfordern einen booleschen Ausgabetyp.
• Numerische Scorer auf einer Skala von 0 bis 1 werden nicht empfohlen, da LLMs in sehr engen Zahlenbereichen schlecht abschneiden.
• Testcenter-Sitzungen werden nicht von benutzerdefinierten Scorern bewertet. Testcenter-Sitzungen erhalten keinen Endzeitstempel. Daher wird die Datenaktion, die die Auswertung benutzerdefinierter Scorer auslöst, nie ausgelöst.

Übersicht

Bewertungspersonen werten Agentensitzungen aus und generieren Bewertungen, Dimensionen (Textwerte) und Maßeinheiten (numerische Werte). Sie sind Teil der Agentforce Optimierung und Beobachtbarkeit. Sie werden automatisch für einen konfigurierbaren Prozentsatz der Sitzungen ausgeführt und in Optimierung und Analytics werden Ergebnisse angezeigt, sodass Administratoren und Entwickler die Agentenleistung kontinuierlich verbessern können.

Es gibt zwei Arten von Torschützen:

• Standardbewertungen werden von Salesforce sofort bereitgestellt.
• Benutzerdefinierte Scorer werden von Ihrer Organisation definiert, um unternehmensspezifische Kriterien auszuwerten.

Standardbewertungen

Standardbewertungen sind vorgefertigte Auswertungen, die automatisch mit der STDM-Bereitstellung erstellt werden. Sie werden in Agentensitzungen ohne zusätzliche Kundenkonfiguration ausgeführt.

Aktuelle Standardbewertungen

• Verzichtsbewertung: Gibt an, ob der Kunde die Sitzung vorzeitig beendet hat, bevor der Agent sein Problem gelöst hat.
• Ableitungsbewertung: Gibt an, ob der Agent eine Interaktion erfolgreich von der Notwendigkeit einer menschlichen Eskalation abgelenkt hat.
• Qualitätsbewertung: Misst die Gesamtqualität der Sitzung anhand vordefinierter Salesforce-Kriterien.

Standardbewertungen verwenden einen reservierten Speicherort auf der Benutzeroberfläche und sind von der benutzerdefinierten Bewertungsliste getrennt.

Wichtig

Standardbewertungen können nicht direkt bearbeitet werden. Duplizieren Sie sie, um eine neue benutzerdefinierte Version mit geänderter Logik zu erstellen.

Benutzerdefinierte Scorer

Mit benutzerdefinierten Scorern können Sie Auswertungslogik definieren und auf Sitzungen anwenden. Sie verwenden einen LLM-as-a-judge-Ansatz (aufforderungsbasierte Auswertung) oder ausdrucksbasierte Logik, um Sitzungen anhand Ihrer Kriterien zu kennzeichnen, zu bewerten oder zu klassifizieren.

Hinweis

Sie erstellen benutzerdefinierte Scorer in Next Gen Testing (NGT) in Agentforce Studio. Entsprechende Informationen finden Sie unter Einrichten und Ausführen von Tests in Agentforce Studio (Beta). Weitere Informationen finden Sie unter Next Gen Testing on Slack.

Benutzerdefinierte Scorer werden für Sitzungen ausgeführt und zeigen benutzerdefinierte Bewertungen und Dimensionen unter "Beobachtbarkeit" an.

Funktionsweise von benutzerdefinierten Scorern

Ein benutzerdefinierter Scorer wird durch eine Aufforderungsvorlage unterstützt, die nach Ende der Sitzung automatisch als Batchauftrag ausgeführt wird. Nachdem ein Scorer in einer Sitzung ausgeführt wurde, wird die Sitzung diesem Scorer zugeordnet und Bezeichnungen und Bewertungen werden in "Optimierung" und "Analytics" angezeigt.

• Ein Scorer ist eine Aufforderungsvorlage, die für einen konfigurierbaren Prozentsatz der Sitzungen (Stichprobenrate) ausgeführt wird.
• Bewertungen werden am Ende der Sitzung angewendet, nicht während der Live-Unterhaltung. Sitzungen müssen einen Endzeitstempel erhalten, damit die Bewertungsdatenaktion ausgelöst wird.
• Ergebnisse werden unter "Beobachtbarkeit" als benutzerdefinierte Maßeinheiten angezeigt.
• Mithilfe der aufrufbaren Aktion "executeAgentforceScoresJob" können Sie auch manuell Scorer auslösen.
• Die Bewertung wirkt sich nicht auf die Latenz oder Leistung des Agenten während Live-Unterhaltungen aus, da die Bewertung nach Ende der Sitzung ausgeführt wird.

Bewertungskonfiguration

Schlüsselfelder

Validierungsregeln

• scorerApiName dürfen nicht bereits vorhanden sein.
• promptTemplateRef müssen vorhanden und aktiv sein.
• Für Text-Datentyp: Scorer-Werte müssen vorhanden sein. Genau ein Wert muss isFallback: true aufweisen. Genau einer muss isSystemFallback: true aufweisen (nur wenn isFallback auch wahr ist).
• Für numerischen Datentyp: keine Ausweichwerte; Werte müssen als gültige Doubles analysiert werden. Wenn Sie valuesSpecification verwenden: step muss größer als 0 sein; min muss kleiner als max sein; threshold ist optional, muss jedoch zwischen min und max liegen.
• Maximale Anzahl an Scorer-Werten: 101.

Ausgabetypen

• Text (Bezeichnungen): Der Scorer weist jeder Sitzung eine der vordefinierten Zeichenfolgenbezeichnungen zu (z. B. "Gelöst", "Verworfen" oder "Eskaliert"). Wird für die kategoriale Klassifizierung verwendet.
• Numerisch: Der Scorer gibt eine Zahl in einem definierten Bereich (z. B. 0–5) zurück. Geeignet für Qualitätsbewertungen und kontinuierliche Bewertungen. LLMs funktionieren in der Regel auf diskreten Skalen (z. B. 0–5) besser als in engen Bereichen von 0–1.
• Boolesch (dehnbar oder zukünftig): Gibt true oder false zurück. Wird für ausdrucksbasierte Scorer unterstützt.

Ausführen von Scorern in der Produktion

Aktivieren über die Registerkarte "Scorer"

Nachdem Sie einen benutzerdefinierten Scorer erstellt und getestet haben, aktivieren Sie ihn über das Scorer Hub in Agentforce Optimization. Durch Aktivierung kann der Scorer in Live-Sitzungen mit der konfigurierten Stichprobenrate ausgeführt werden.

Ausführen über Salesforce-Flow

Es wird eine neue aufrufbare Aktion – TriggerAgentBulkScoring – bereitgestellt, um benutzerdefinierte Scorer in historischen Sitzungen asynchron auszuführen. Diese Aktion akzeptiert mehrere Sitzungen und Scorer und ist über folgende Kanäle zugänglich:

• Salesforce-Flow
• REST API
• Apex

Aktionsname: TriggerAgentBulkScoring

Wichtige Hinweise

• Alle Sitzungs-IDs und -scorerApiNames müssen demselben Agenten angehören.
• Stellen Sie sicher, dass die Scorer-Version vor der Ausführung verfügbar ist.

REST API

Senden Sie eine POST-Anforderung an den REST-Endpunkt der Standardaktion.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Beispielnutzlast:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Verwenden Sie die aufrufbare Aktion "executeAgentforceScoresJob" in Flow. Die Aktion akzeptiert eine Liste der Sitzungs-IDs und Scorer und sendet einen Auftrag an die Evaluierungs-Pipeline. Allgemeine Verwendungen:

• Ausführen von Scorern in historischen Sitzungen
• Batch-Analyse und benutzerdefinierte Berichte
• Integration in Agentforce Grid

Metadaten-API

Erstellen und verwalten Sie benutzerdefinierte Scorer mit der Salesforce-Metadaten-API, damit Sie Scorer in Pro-Code- und DevOps-Workflows, einschließlich CI/CD-Pipelines, bereitstellen können.

Anwendungsfälle