Du er her:
Glidningsovervåking (beta)
Bruk Glidningsovervåking i Data 360 til å spore forutsigelsesmodellforringelse, som skjer når fordelingen av modellforutsigelser endres betydelig over tid. Glidning angir skift i kundevirkemåte, forretningsbetingelser eller underliggende datamønstre.
Bruk avvikovervåking i Data 360 til å spore disse to typene av avvik på tvers av aktive binære og regresjonsmodeller.
Variabel glidning
Variabelforskyvning skjer når distribusjonen av direktedata skifter bort fra opplæringsdata. En salgsemnescoremodell som er opplært i e-post og salgsemner med organisk søk, avviker for eksempel når en ny kampanje plutselig driver de fleste salgsemnene fra sosiale medier.
Diagrammet Variabel glidning over tid visualiserer hvordan fordelingen av inndatavariabler endres over tid. Lavere score angir stabile inndata, mens høyere score angir større avvik som kan påvirke modellytelsen.
Diagrammet Glidning etter variabel visualiserer avviksscore på tvers av inndatavariabler for å identifisere hvilke variabler som bidrar mest til den generelle avviksen. Lavere score angir stabile inndata, mens høyere score angir større avvik som kan påvirke modellytelsen.
Hvis du vil undersøke en bestemt variabel, viser du oppdelingen på variabelnivå og åpner det variabelspesifikke driftdiagrammet.
Forutsigelsesflyt
Forutsigelsesavvik oppstår når fordelingen av forutsigelser endres betydelig over tid, noe som kan indikere skift i kundevirkemåte, forretningsbetingelser eller underliggende datamønstre.
Diagrammet Prediction Drift Over Time (Forutsigelsesglidning over tid) viser hvordan forutsigelsesfordelinger endres over tid. Lavere score angir stabile forutsigelser, mens høyere score angir større avvik og potensielle skift i underliggende datamønstre.
Diagrammet for fordeling av glidebrytscore viser fordelingen og frekvensen av forutsigelsesdriftscorer på tvers av utledingskjøringer. Stigende avviksscore indikerer redusert modellpålitelighet og signalerer behovet for ny opplæring. Bruk dette diagrammet til å identifisere om avvik bare skjer i bestemte perioder eller øker konsistent over tid.
| STATUS | SCOREOMRÅDE |
|---|---|
| Stabil glidning | 0.0–0.1 |
| Moderere glidning | 0.1–0.2 |
| Betydelig | >= 0.2 |
Modellglidning for en aktivert modell
Hvis du vil overvåke endringer i en aktivert modell, ser du gjennom dens driftmålinger på fanen AI-modeller i Data 360. Driftkontrollpanelet viser kort for variabel drift og forutsigelsesdrift. For å spore modellendringer over tid vurderer du disse målingene etter dag, uke eller måned.
Hvert driftkort viser disse detaljene:
-
Gjeldende avviksscore og status – stabil, moderat eller betydelig avvik
-
Trendeindikator som viser om avvik øker eller reduseres
-
Versjonsmarkører i trenddiagrammet som angir når en ny modellversjon ble aktivert
Modellopplæring på nytt
Når avviksscore når det moderate eller betydelige området, lærer du opp modellen på nytt for å justere den med gjeldende datamønstre. Lær opp modellen ved å bruke et oppdatert datasett, og aktiver deretter den nye versjonen. Aktivering oppdaterer standarden for avvik for å gjenspeile de nye opplæringsdataene og legger til versjonsmarkører i trenddiagrammene for avvik.
Modellvurderinger
-
Glidningsovervåking er tilgjengelig bare for binære og regresjonsmodeller og for Flyt- eller API-baserte utledninger.
-
Kontroller at minst én utledingsjobb kjører.
-
En organisasjon kan beregne avvik på tvers av alle aktive utledningsjobber for en modell. Hvis en modell har flere utledingsjobber, gjenspeiler avviksscorer aggregerte data på tvers av alle jobbene.
-
Grunnleggende driftdiagrammer er tilgjengelig uten ekstra kostnad. Dypere analyse etter utledingsjobb eller utledingskanal er en betalt funksjon som bruker Data 360-kreditter.
