Olet tässä:
Drift Monitoring (beta)
Käytä Drift Monitoring in Data 360 -ominaisuutta seurataksesi ennustemallin heikentymistä, joka tapahtuu, kun mallien ennusteiden jakauma muuttuu merkittävästi ajan myötä. Drift osoittaa asiakastoiminnan, liiketoimintaolosuhteiden tai sen perustana olevien datakuvioiden työvuoroja.
Käytä Drift Monitoring -ominaisuutta Data 360:ssa seurataksesi näitä kahdentyyppisiä drift-tyyppejä aktiivisissa binäärimalleissa ja regressiomalleissa.
Muuttujan kasaantuminen
Muuttujan drift tapahtuu, kun live-syötetyn datan jakauma siirtyy pois koulutusdatasta. Esimerkiksi sähköpostien ja luonnollisen haun liideille kouluttama liidien pisteytysmalli heikkenee, kun uusi kampanja yllättää useimmat liidit sosiaalisesta mediasta.
Variable Drift Over Time -kaavio esittää visuaalisesti, miten input-muuttujien jakauma muuttuu ajan myötä. Pienemmät pisteet osoittavat vakaata syötettyä dataa, kun taas korkeammat pisteet osoittavat suurempaa drift-arvoa, joka voi vaikuttaa mallin suorituskykyyn.
Drift by Variable -kaavio visualisoi syöttömuuttujien drift-pisteet, jotta voit tunnistaa, mitkä muuttujat vaikuttavat eniten yleiseen drift-muuttujaan. Pienemmät pisteet osoittavat vakaata syötettyä dataa, kun taas korkeammat pisteet osoittavat suurempaa drift-arvoa, joka voi vaikuttaa mallin suorituskykyyn.
Jos haluat tutkia tiettyä muuttujaa, tarkastele muuttujatason erittelyä ja avaa muuttujakohtainen drift-kaavio.
Ennusteen käynnistys
Ennusteiden hajonta tapahtuu, kun ennusteiden jakauma muuttuu merkittävästi ajan myötä, mikä voi osoittaa asiakastyytyväisyyden, liiketoimintaolosuhteiden tai niiden perustana olevien datakuvioiden muutoksia.
Ennusteen kasaantuminen ajan myötä -kaavio näyttää, miten mallin ennusteiden jakaumat muuttuvat ajan myötä. Alhaisemmat pisteet osoittavat vakaita ennusteita, kun taas korkeammat pisteet osoittavat suurempaa heikentymistä ja mahdollisia muutoksia perustana olevissa datakuvioissa.
Drift Score Distribution -kaavio näyttää ennusteen drift-pistemäärän jakauman ja yleisyyden päätelmäkertojen välillä. Kasvavat drift-pisteet osoittavat, että mallin luotettavuus on heikentynyt ja että sitä täytyy kouluttaa uudelleen. Käytä tätä kaaviota nähdäksesi, tapahtuuko drift vain tiettyinä ajanjaksoina vai kasvaako se jatkuvasti ajan myötä.
| TILA | PISTEMÄÄRÄ |
|---|---|
| Stabiili vauhti | 0.0–0.1 |
| Drift-mittareiden moderointi | 0.1–0.2 |
| Tärkeä | >= 0.2 |
Mallin käynnistys aktivoidulle mallille
Jos haluat valvoa aktivoidun mallin muutoksia, tarkasta sen drift-tilastot Data 360:n AI-mallit -välilehdestä. drift-mittaristo näyttää muuttujan ja ennusteen drift-arvojen kortit. Voit seurata mallien muutoksia tietyltä aikaväliltä arvioimalla nämä tilastot päivän, viikon tai kuukauden perusteella.
Jokainen drift-kortti näyttää nämä lisätiedot:
-
Tämänhetkinen drift-pisteet ja -tila — Stabiili, moderoitu tai merkittävä drift
-
Trendin osoitin, joka näyttää, kasvaako vai laskeeko drift
-
Trendikaaviossa olevat version merkinnät, jotka osoittavat, milloin mallin uusi versio aktivoitiin
Mallin uudelleenkoulutus
Kun drift-pisteet saavuttavat keskitason tai merkittävän asteikon, kouluta mallia uudelleen tasataksesi sen tämänhetkisten datakuvioiden kanssa. Käsittele kaatumista kouluttamalla mallia käyttämällä päivitettyä datajoukkoa ja aktivoimalla sitten uusi versio. Aktivointi päivittää drift-perustason vastaamaan uusia koulutusdataa ja lisää version merkintöjä drift-trendikaavioihin.
Mallissa huomioitavia asioita
-
Drift-valvonta on käytettävissä vain binäärille ja regressiomalleille sekä kulkuihin tai API-pohjaisille johtopäätöksille.
-
Varmista, että vähintään yksi päätelmätyö on käynnissä.
-
Organisaatio voi laskea kaikki mallin aktiiviset päätelmätöitä. Jos mallilla on useita päätelmätöitä, drift-pisteet vastaavat kaikkien töiden aggregoitua dataa.
-
Peruskaaviot ovat saatavilla ilman lisämaksua. Syvällisempi analyysi johtotyön tai johtelukanavan perusteella on maksullinen ominaisuus, joka kuluttaa Data 360 -hyvityksiä.
