U bent hier:
Drift Monitoring (bèta)
Gebruik Drift Monitoring in Data 360 voor het bijhouden van degradatie van voorspellingsmodellen, die optreedt wanneer de distributie van modelvoorspellingen in de loop van de tijd aanzienlijk verandert. Drift duidt op verschuivingen in klantgedrag, bedrijfsomstandigheden of onderliggende gegevenspatronen.
Gebruik driftcontrole in Data 360 om deze twee typen drift bij te houden binnen actieve binaire en regressiemodellen.
Variabelendrift
Variabele drift treedt op wanneer de distributie van live invoergegevens verschuift van trainingsgegevens. Een leadscoremodel dat is getraind op e-mail en organische zoekleads, drijft bijvoorbeeld weg wanneer een nieuwe campagne plotseling de meeste leads van sociale media verdrijft.
Het diagram Variabele afwijking in tijd visualiseert de manier waarop de distributie van invoervariabelen in de loop van de tijd verandert. Lagere scores duiden op stabiele invoergegevens, terwijl hogere scores duiden op een grotere drift die van invloed kan zijn op modelprestaties.
Het diagram Drift op variabele visualiseert driftscores voor invoervariabelen om te helpen bepalen welke variabelen het meest bijdragen aan algemene drift. Lagere scores duiden op stabiele invoergegevens, terwijl hogere scores duiden op een grotere drift die van invloed kan zijn op modelprestaties.
Bekijk voor het onderzoeken van een specifieke variabele de analyse op variabeleniveau en open het variabelespecifieke verloopdiagram.
Drift van voorspelling
Voorspellingsafwijking treedt op wanneer de distributie van voorspellingen aanzienlijk verandert in de loop van de tijd, wat kan duiden op verschuivingen in klantgedrag, bedrijfsomstandigheden of onderliggende gegevenspatronen.
Het diagram Voorspellingenverloop in de loop van de tijd toont hoe modelvoorspellingsverdelingen in de loop van de tijd veranderen. Lagere scores duiden op stabiele voorspellingen, terwijl hogere scores duiden op grotere drift en potentiële verschuivingen in onderliggende gegevenspatronen.
Het diagram Distributie van driftscores toont de distributie en frequentie van scores voor driftscores van voorspellingen voor gevolgtrekkingen. Stijgende driftscores geven een verminderde betrouwbaarheid van het model aan en geven de noodzaak van omscholing aan. Gebruik dit diagram om te bepalen of drift alleen optreedt tijdens specifieke perioden of consistent toeneemt in de loop van de tijd.
| STATUS | SCOREBEREIK |
|---|---|
| Stabiele drift | 0.0–0.1 |
| Drift modereren | 0.1–0.2 |
| Belangrijk | >= 0.2 |
Modelverloop voor een geactiveerd model
Als u wijzigingen in een geactiveerd model wilt bewaken, controleert u de meetgegevens over afwijking ervan op het tabblad AI-modellen in Data 360. Het dashboard voor afwijking toont kaarten voor afwijking van variabele en voorspelling. Voor het bijhouden van modelwijzigingen in de loop van de tijd beoordeelt u deze meetgegevens op dag, week of maand.
Elke verloopkaart toont deze details:
-
Huidige driftscore en -status: stabiel, matig of significant drift
-
Trendindicator die aangeeft of de drift toeneemt of afneemt
-
Versiemarkeringen in het trenddiagram die aangeven wanneer een nieuwe modelversie is geactiveerd
Modelhertraining
Wanneer verloopscores het matige of significante bereik bereiken, traint u het model opnieuw om het af te stemmen op de huidige gegevenspatronen. Train het model met behulp van een bijgewerkte gegevensset en activeer vervolgens de nieuwe versie om de afwijking aan te pakken. Activering werkt de baseline van het verloop bij om de nieuwe trainingsgegevens weer te geven en voegt versiemarkeringen toe aan de diagrammen met verlooptrends.
Overwegingen bij modellen
-
Drift Monitoring is alleen beschikbaar voor binaire modellen en regressiemodellen en voor op stroom of API gebaseerde gevolgtrekkingen.
-
Zorg ervoor dat er minstens één gevolgtaak wordt uitgevoerd.
-
Een organisatie kan drift berekenen voor alle actieve gevolgtrekkingstaken voor een model. Als een model meerdere gevolgtrekkingstaken heeft, weerspiegelen verloopscores geaggregeerde gegevens voor alle taken.
-
Basis verloopdiagrammen zijn kosteloos beschikbaar. Diepere analyse op gevolgtaak of gevolgkanaal is een betaalde voorziening die Data 360-kredietpunten verbruikt.
