Testen mehrerer Intent-Prognosen

Verwenden Sie Massentests für:

• Auswerten von bis zu 1000 Äußerungen in einer einzelnen Anforderung
• Vergleichen von erwarteten und prognostizierten Intents
• Konfidenzbewertungen für jede Prognose überprüfen
• Analysieren der Gesamtleistung mithilfe von Zusammenfassungskennzahlen

Sie können Massentests auf zwei Arten durchführen:

• Testen von benutzerdefinierten Äußerungen: Stellen Sie ein Datenset mit Äußerungen und erwarteten Intents bereit, um bestimmte Szenarien auszuwerten.
• Testen mit vorhandenen Bot-Daten: Werten Sie alle im Bot bereits konfigurierten Äußerungen aus, um eine vollständige Leistungszusammenfassung zu generieren.

Diese beiden Ansätze entsprechen unterschiedlichen API-Endpunkten.

Aktivieren Sie zunächst Einstein Bots und Einstein für Intents und erstellen Sie Ihr Modell. Aktivieren Sie die Pilotberechtigung "Batch-Eingabetester" und aktivieren Sie das sprachübergreifende Intent-Modell (Intent V3) auf der Bot-Übersichtsseite.

Hinweis Wenden Sie sich an den Salesforce-Kundensupport, um die Pilotberechtigung "Batch-Eingabetester" zu aktivieren. Wenn Sie das sprachübergreifende Intent-Modell deaktivieren, erstellt Salesforce Ihr Modell mit Intent Standard V2 (für einzelne Sprachen) oder Intent Multi-Language 2.5 (für mehrere Sprachen).

Funktionsweise von Massentests

Massentests werten Äußerungen anhand des Intent-Modells Ihres Bots aus und geben Folgendes zurück:

• Sie initiieren eine Evaluierungsanforderung mit einer Reihe von Äußerungen oder einer ausgewählten Bot-Version.
• Das Intent-Modell verarbeitet jede Äußerung und prognostiziert den relevantesten Intent.
• Das System vergleicht den prognostizierten Intent mit dem erwarteten Intent, sofern angegeben.
• Das System weist jeder Prognose eine Konfidenzbewertung und eine Bewertung zu.
• Das System generiert eine Prognosezusammenfassung mit allgemeinen Leistungskennzahlen.
• Das System gibt konsolidierte Ergebnisse für alle ausgewerteten Äußerungen zurück.

Grundlegendes zu Prognoseergebnissen

Überprüfen Sie die Prognoseergebnisse, um nachzuvollziehen, wie genau der Bot Äußerungen klassifiziert und welche Bereiche verbessert werden können.

Ergebnisse pro Äußerung. Für jede Äußerung gibt das System Folgendes zurück:

• Prognostizierter Intent: Der vom Modell identifizierte Intent
• Prognoseergebnis: Gibt an, ob der prognostizierte Intent mit dem erwarteten Intent übereinstimmt (übergeben, fehlschlagen oder nicht verarbeitet)
• Konfidenzbewertung: Gibt an, wie wahrscheinlich die Prognose richtig ist

Summary Metrics (Zusammenfassungskennzahlen). Das System stellt aggregierte Kennzahlen bereit, um die Gesamtleistung zu bewerten:

• Erfolgsrate: Prozentsatz der richtig prognostizierten Äußerungen
• Fehleranzahl: Anzahl der falsch prognostizierten Äußerungen
• Intent-Abdeckungsrate: Prozentsatz der für mindestens eine Äußerung richtig prognostizierten Intents
• Fehleranzahl: Anzahl der Äußerungen, die der Bot nicht verarbeiten konnte

Überlegungen

Beachten Sie beim Verwenden von Massentests folgende Überlegungen:

• Sie können maximal 1000 Äußerungen gleichzeitig auswerten.
• Die Ergebnisse hängen von der Qualität der Intent-Trainingsdaten ab.
• Überprüfen Sie fehlgeschlagene Prognosen, um die Intent-Genauigkeit zu verbessern.
• Fehler bei einzelnen Äußerungen halten die Gesamtauswertung nicht an.

API-Details finden Sie im Connect REST API Developer Guide unter Bot Utterance Intent Prediction Resources (Bot-Äußerungs-Intent-Prognoseressourcen).