Meerdere intentvoorspellingen testen

Gebruik bulktests voor:

• Maximaal 1000 uitingen in één verzoek evalueren
• Verwachte en voorspelde intents vergelijken
• Vertrouwensscores voor elke voorspelling beoordelen
• Algemene prestaties analyseren met behulp van samenvattingsmeetgegevens

U kunt bulktests op twee manieren uitvoeren:

• Aangepaste uitingen testen: Geef een gegevensset van uitingen en verwachte intents op om specifieke scenario's te evalueren.
• Testen met behulp van bestaande botgegevens: Evalueer alle uitingen die al zijn geconfigureerd in de bot om een volledige prestatiesamenvatting te genereren.

Deze twee benaderingen komen overeen met verschillende API-eindpunten.

Schakel voordat u begint Einstein Bots en Einstein for Intents in en stel uw model samen. Schakel de proefmachtiging Batchinvoertester in en schakel het interlinguïstische intentmodel (Intent V3) in op de pagina Bot-overzicht.

Opmerking Neem contact op met de klantenondersteuning van Salesforce om de proefmachtiging Batchinvoertester in te schakelen. Als u het interlinguale intent-model uitschakelt, stelt Salesforce uw model samen met behulp van Intent Standard V2 (voor één taal) of Intent Multi-Language 2.5 (voor meerdere talen).

Hoe bulktesten werken

Bulktests evalueren uitingen op basis van het intent-model van uw bot en retourneren:

• U initieert een evaluatieverzoek met een set uitingen of een geselecteerde botversie.
• Het intent-model verwerkt elke uiting en voorspelt de meest relevante intent.
• Het systeem vergelijkt de voorspelde intent met de verwachte intent, indien opgegeven.
• Het systeem wijst een vertrouwensscore en beoordeling toe aan elke voorspelling.
• Het systeem genereert een voorspellingssamenvatting met algemene prestatiemeetgegevens.
• Het systeem retourneert geconsolideerde resultaten voor alle geëvalueerde uitingen.

Inzicht in voorspellingsresultaten

Als u wilt begrijpen hoe nauwkeurig de bot uitingen classificeert en gebieden voor verbetering wilt identificeren, controleert u de voorspellingsresultaten.

Resultaten per uiting. Voor elke uiting retourneert het systeem:

• Voorspelde intent: De intent die door het model wordt geïdentificeerd
• Voorspellingsuitkomst: Geeft aan of de voorspelde intent overeenkomt met de verwachte intent (doorstaan, mislukken of niet verwerkt)
• Vertrouwensscore: Geeft aan hoe waarschijnlijk de voorspelling correct is

Samenvattingsmeetgegevens. Het systeem biedt geaggregeerde meetgegevens om de algemene prestaties te beoordelen:

• Successcore: Percentage correct voorspelde uitingen
• Aantal mislukkingen: Aantal uitingen dat onjuist is voorspeld
• Dekkingsgraad van intent: Percentage intents dat correct is voorspeld voor minstens één uiting
• Aantal fouten: Aantal uitingen dat de bot niet kan verwerken

Overwegingen

Houd rekening met het volgende wanneer u bulktests gebruikt:

• U kunt maximaal 1000 uitingen tegelijk evalueren.
• Resultaten zijn afhankelijk van de kwaliteit van de gegevens van de intent-training.
• Controleer mislukte voorspellingen om de nauwkeurigheid van intents te verbeteren.
• Fouten voor afzonderlijke uitingen stoppen de algemene evaluatie niet.

Zie voor API-details Resources voor Bot-uiting intentvoorspellingen in de Connect REST API Developer Guide.