Evaluere hvor godt roboten forstår kundene dine
Modellbehandling-siden viser målinger av kvaliteten på robotens hensiktsmodell og detaljer om individuelle hensikter. Bruk informasjonen til å finjustere hensikter og forbedre robotens forståelse av kunder.
Nødvendige utgaver
| Vis støttede versjoner. |
| Nødvendige brukertillatelser | |
|---|---|
| For å bygge og behandle Einstein-roboter: | Tilpasse program ELLER Endre metadata ELLER Behandle roboter |
Roboten din er bare så god som dataene du mater den med. For å sikre robotens kvalitet anbefaler vi deg å besøke Modellbehandling-menyen ofte. Våre modeller rangerer hensikter basert på en F1-score, som er en statistisk term som viser hvor presis modellen er til å forutsi riktig.
F1-scoren er definert fra 0 til 1 der 1 er beste score. Jo høyere hensiktens F1-score er, desto mer sannsynlig er det at roboten forutsier riktig hver gang den har en samtale. F1-scorer kombinerer to målinger:
- Presisjon: Antall riktige positive resultater dividert med totalt antall positive resultater
- Tilbakekall: Antall positive resultater dividert med totalt antall positive resultater
For å forbedre hensiktens F1-score har vi oppgitt anbefalinger på Modellbehandling-siden.
- Klikk på Modellbehandling fra robotbyggermenyen.
-
Vis fanen Modell for å vise hensiktsmodellmålinger.
-
Klikk på et navn på en hensikt for å vise anbefalingene.
Å legge til ytringer og avklare hensikter er en god måte å forbedre F1-scorer på. Det er også viktig å ofte integrere nye kundedata fra samtaleavskrifter for å holde roboten oppdatert. Minimum 20 ytringer kreves for å bygge modellen, men flere ytringer gjør modellen mer nøyaktig.
-
Hvis du vil iverksette tiltak basert på de gitte anbefalingene, klikker du på Rediger hensikt for å gå til hensiktsdetaljene for denne dialogen.
Du kan bruke AppExchange-verktøyet Einstein Intent Assessor til å visualisere nøyaktigheten av hensiktsmodellen.
- Klikk på Last ned modellmålinger for å vise modellytelse på andre språk. Roboter med flere språk har både oppsummerte målinger og språkspesifikke målinger.
- Teste forutsigelser med flere hensikter
Evaluer hvor nøyaktig roboten forutsier hensikter, ved å teste flere ytringer samlet i stedet for én om gangen. Denne metoden bidrar til å vurdere hensiktsnøyaktighet og identifisere hull i hensiktskonfigurasjon. Massetesting bidrar til å identifisere feilklassifiserte ytringer og vurdere den generelle modellytelsen ved å bruke forutsigelsesmålinger. Tidligere krevde testing av ytringer manuell, én-for-én-validering. Massetesting effektiviserer prosessen ved å analysere store datasett og returnere et konsolidert forutsigelsessammendrag.
