Evalueren hoe goed bots uw klanten ondersteunen
De pagina Modellenbeheer toont meetgegevens over de kwaliteit van het intent-model van uw bot en gegevens van afzonderlijke intents. Gebruik de informatie om intents af te stemmen en te zorgen dat uw bot uw klanten beter begrijpt.
Vereiste editions
| Ondersteunde editions weergeven. |
| Benodigde gebruikersmachtigingen | |
|---|---|
| Einstein Bots samenstellen en beheren: | Toepassing aanpassen OF Metagegevens wijzigen OF Bots beheren |
Uw bot is slechts zo goed als de gegevens die deze van u krijgt. Als u wilt zorgen voor een goede botkwaliteit raden we aan vaak naar het menu Modellenbeheer te gaan. Onze modellen beoordelen intents op basis van een F1-score. Dat is een statistische term die aangeeft hoe accuraat de voorspellingen van het model zijn.
De F1-score wordt gedefinieerd van 0 tot 1, waarbij 1 de hoogst mogelijke score is. Hoe hoger de F1-score van uw intent, hoe groter de kans dat de bot elke keer dat deze een gesprek voert, een correcte voorspelling doet. In F1-scores worden twee meetgegevens gecombineerd:
- Precisie: het aantal correcte positieve resultaten gedeeld door het totale aantal positieve resultaten
- Terugroepen: het aantal positieve resultaten gedeeld door het totale aantal verwachte resultaten
Als u de F1-score van uw intent wilt verhogen, volgt u de aanbevelingen op de pagina Modellenbeheer.
- Klik vanuit het menu Bot-samensteller op Modellenbeheer.
-
Geef voor het weergeven van meetgegevens van intentmodellen het tabblad Model weer.
-
Klik voor het weergeven van de aanbevelingen op de naam van een intent.
Uitingen toevoegen en intents verduidelijken is een prima manier om F1-scores te verbeteren. Het is echter ook belangrijk regelmatig nieuwe klantgegevens uit gesprekstranscripties te integreren om de bot up-to-date te houden. Er zijn minimaal twintig uitingen vereist om het model samen te stellen, maar meer uitingen maken het model accurater.
-
Als u op de geboden aanbevelingen wilt inspelen, klikt u op Intent bewerken om naar de intentdetails voor die dialoog te gaan.
U kunt de AppExchange-tool Einstein Intent Assessor gebruiken om de nauwkeurigheid van uw intent-model te visualiseren.
- Om modelprestaties in andere talen te bekijken, klikt u op Meetgegevens van model downloaden. Bots met meerdere talen bevatten zowel geaggregeerde meetgegevens als taalspecifieke meetgegevens.
- Meerdere intentvoorspellingen testen
Evalueer hoe nauwkeurig uw bot intents voorspelt door meerdere uitingen in bulk te testen in plaats van één tegelijk. Deze methode helpt bij het beoordelen van de nauwkeurigheid van intents en het identificeren van hiaten in de configuratie van intents. Bulktests helpen bij het identificeren van verkeerd geclassificeerde uitingen en het beoordelen van algemene modelprestaties met behulp van voorspellingsmeetgegevens. Voorheen vereiste het testen van uitingen handmatige, één-voor-één validatie. Bulktests stroomlijnen het proces door grote gegevenssets te analyseren en een geconsolideerde voorspellingssamenvatting te retourneren.
