Du är här:
Driftövervakning (beta)
Använd Driftövervakning i Data 360 för att följa förutsägbar modellförsämring, som inträffar när distributionen av modellförutsägelser ändras avsevärt över tid. Drift indikerar skift i kundbeteende, verksamhetsvillkor eller underliggande datamönster.
Använd driftövervakning i Data 360 för att följa dessa två typer av drift över aktiva binära modeller och regressionsmodeller.
Variabeldrift
Variabeldrift inträffar när distributionen av liveindata flyttas från inlärningsdata. Till exempel driver en leadbetygsmodell som utbildats i e-post och organiska sökleads när en ny kampanj plötsligt driver de flesta leads från sociala medier.
Diagrammet Variabeldrift över tid visualiserar hur distributionen av indatavariabler ändras över tid. Lägre betyg indikerar stabila indata, medan högre betyg indikerar större drift som kan påverka modellens prestanda.
Diagrammet Drift efter variabel visualiserar driftbetyg över indatavariabler för att hjälpa till att identifiera vilka variabler som bidrar mest till övergripande drift. Lägre betyg indikerar stabila indata, medan högre betyg indikerar större drift som kan påverka modellens prestanda.
För att undersöka en specifik variabel, se uppdelningen på variabelnivå och öppna det variabelspecifika driftdiagrammet.
Förutsägelsedrift
Förutsägelsedrift inträffar när distributionen av förutsägelser ändras avsevärt över tid, vilket kan indikera skift i kundbeteende, verksamhetsvillkor eller underliggande datamönster.
Diagrammet Förutsägelsedrift över tid visar hur modellförutsägelsefördelningar ändras över tid. Lägre betyg indikerar stabila förutsägelser, medan högre betyg indikerar större drift och potentiella skiftningar i underliggande datamönster.
Diagrammet Driftbetygdistribution visar distributionen och frekvensen av förutsägelsedriftbetyg över härledningskörningar. Stigande driftbetyg indikerar minskad modelltillförlitlighet och signalerar behovet av omskolning. Använd detta diagram för att identifiera om drift endast sker under specifika perioder eller konsekvent ökar över tid.
| STATUS | BETYGSINTERVALL |
|---|---|
| Stabil drift | 0.0–0.1 |
| Moderera drift | 0.1–0.2 |
| Betydande | >= 0.2 |
Modelldrift för en aktiverad modell
För att bevaka ändringar i en aktiverad modell, gå igenom dess driftmått på fliken AI-modeller i Data 360. Driftinstrumentpanelen visar kort för variabeldrift och förutsägelsedrift. För att följa modelländringar över tid, utvärdera dessa mått efter dag, vecka eller månad.
Varje driftkort visar dessa detaljer:
-
Aktuellt driftbetyg och status — stabil, måttlig eller betydande drift
-
Trendindikator som visar om driften ökar eller minskar
-
Versionsmarkörer i trenddiagrammet som indikerar när en ny modellversion aktiverades
Modell omskolning
När driftbetyg når det moderata eller signifikanta intervallet, återutbilda modellen för att anpassa den till aktuella datamönster. För att hantera driften, utbilda modellen med hjälp av en uppdaterad datauppsättning och aktivera sedan den nya versionen. Aktivering uppdaterar driftbaslinjen för att återspegla nya inlärningsdata och lägger till versionsmarkörer i drifttrenddiagrammen.
Att tänka på vad gäller modeller
-
Driftövervakning är endast tillgängligt för binära modeller och regressionsmodeller och för flödes- eller API-baserade slutsatser.
-
Se till att minst ett slutledningsjobb körs.
-
En organisation kan beräkna drift över alla aktiva slutledningsjobb för en modell. Om en modell har flera slutledningsjobb återspeglar driftbetyg aggregerade data för alla jobb.
-
Grundläggande driftdiagram är tillgängliga utan extra kostnad. Djupare analyser efter härledningsjobb eller härledningskanal är en betalfunktion som använder Data 360-krediter.
