breadcrumbDescription
Driftovervågning (beta)
Brug Drift Monitoring i Data 360 til at spore forudsigende modelnedgradering, som forekommer, når fordelingen af modelforudsigelser ændres væsentligt over tid. Afvigelse angiver vagter i kundeadfærd, forretningsbetingelser eller underliggende datamønstre.
Brug afvigelsesovervågning i Data 360 til at spore disse to typer af afvigelser på tværs af aktive binære og regressionsmodeller.
Variabeldrift
Variabelforskydning forekommer, når fordelingen af live-inputdata skifter væk fra træningsdata. En emnescoringsmodel, der er trænet på mail og organiske søgeemner, afviger f.eks., når en ny kampagne pludselig styrer de fleste emner fra sociale medier.
Diagrammet Variabeludsving over tid visualiserer, hvordan fordelingen af inputvariabler ændres over tid. Lavere scores angiver stabile inputdata, mens højere scores angiver større forskydning, der kan påvirke modelydeevnen.
Diagrammet Drift efter variabel visualiserer afledningsscores på tværs af inputvariabler for at hjælpe med at identificere, hvilke variabler der bidrager mest til den generelle afledning. Lavere scores angiver stabile inputdata, mens højere scores angiver større forskydning, der kan påvirke modelydeevnen.
Hvis du vil undersøge en specifik variabel, skal du se opdelingen på variabelniveau og åbne det variabelspecifikke afledningsdiagram.
Forudsigelsesforskydning
Forudsigelsesforskydning forekommer, når fordelingen af forudsigelser ændres væsentligt over tid, hvilket kan angive skift i kundeadfærd, forretningsbetingelser eller underliggende datamønstre.
Diagrammet Forudsigelsesforskydning over tid viser, hvordan modelforudsigelsesdistributioner ændres over tid. Lavere scores angiver stabile forudsigelser, mens højere scores angiver større forskydning og potentielle vagter i underliggende datamønstre.
Diagrammet Distribution af afledningsscore viser fordelingen og frekvensen af forudsigelsesscores på tværs af afledningskørsler. Stigende afledningsscores angiver reduceret modelsikkerhed og signalerer behovet for gentræning. Hvis du vil identificere, om afvigelse kun forekommer i specifikke perioder eller konsekvent øges over tid, skal du bruge dette diagram.
| STATUS | SCOREOMRÅDE |
|---|---|
| Stabilt afløb | 0.0–0.1 |
| Moderer afledning | 0.1–0.2 |
| Betydelig | >= 0.2 |
Modeldrift for en aktiveret model
Hvis du vil overvåge ændringer i en aktiveret model, skal du gennemse dens afledningsmetrikker på fanen AI-modeller i Data 360. Afledningsdashboardet viser kort for variabel afledning og forudsigelsesafledning. Hvis du vil spore modelændringer over tid, skal du vurdere disse metrikker efter dag, uge eller måned.
Hvert afledningskort viser disse detaljer:
-
Aktuel afledningsscore og status – stabil, moderat eller væsentlig afledning
-
Tendensindikator, der viser, om afvigelse øges eller reduceres
-
Versionsmarkører på tendensdiagrammet, der angiver, hvornår en ny modelversion blev aktiveret
Modeltræning
Når afvigelsesscores når det moderate eller væsentlige område, skal du træne modellen for at justere den med de aktuelle datamønstre. Hvis du vil håndtere forskydningen, skal du træne modellen ved brug af et opdateret datasæt og derefter aktivere den nye version. Aktivering opdaterer afledningsbasislinjen til at afspejle de nye træningsdata og føjer versionsmarkører til afledningstendensdiagrammer.
Overvejelser i forbindelse med modeller
-
Afvigelsesovervågning er kun tilgængelig for binære og regressionsmodeller og for forløbs- eller API-baserede inferencer.
-
Sørg for, at mindst et udledningsjob kører.
-
En organisation kan beregne afvigelser på tværs af alle aktive afledningsjob for en model. Hvis en model har flere inferencejob, afspejler afledningsscores aggregerede data på tværs af alle job.
-
Basisforskydningsdiagrammer er tilgængelige uden nogen merpris. Dybere analyser efter inferencejob eller inference-kanal er en betalt funktion, der forbruger Data 360-kreditter.
