Olet tässä:
Käyrän alle jäävän alueen (AUC) laatua koskeva hälytys
Käyrän alla oleva alue (AUC) on binääriluokituksen suorituskykytilasto. Se mittaa, voiko malli erottaa kaksi luokkaa toisistaan: positiivinen ja negatiivinen (true ja false, yes ja no, jne.). AUC saadaan vastaanottajan toimintaominaisuuden (ROC) käyrästä, joka piirtää todellisen positiivisen suhteen (TPR) väärän positiivisen suhteen (FPR) useissa kynnysarvon asetuksissa.
Harkittavat toimenpiteet
- Alhainen AUC osoittaa, että malli ei toimi hyvin. Harkitse mallin parantamista ennen sen aktivoimista.
- Korkea AUC osoittaa, että malli toimii niin hyvin, että datavuoto saattaa olla merkittävä tekijä. Tutki ja poista mallistasi muuttujia, jotka voivat aiheuttaa tietovuotoja.
Havaintometodi
Mallien rakentaja näyttää hälytyksen, kun se havaitsee korkean tai matalan AUC-arvon näiden arvojen perusteella.
- Alle 0,6 (matala)
- Yli 0,95 (korkea)
Esimerkki
Telecom-yhtiö haluaa ennustaa, tulevatko asiakkaat todennäköisesti liikkeelle seuraavan kuukauden aikana. Yhtiö rakentaa binäärimallin käyttämällä näitä input-muuttujia.
- asiakkaan säilytysaika
- kuukausittaiset maksut
- internet-palvelun tyyppi
- valitusten määrä
- puheluiden määrä
- datan käyttö
Mallin koulutuksen jälkeen näet hälytyksen, koska AUC-pisteet olivat odotettua pienempiä (koulutus AUC = 0,58). Pistemäärä on vain hieman parempi kuin satunnainen arvailu (AUC = 0,5), ja se osoittaa, että malli ei pysty erottamaan asiakkaita, jotka saattavat poistua tai jatkaa palvelua. Alla on joitakin huomioitavia toimenpiteitä ongelman ratkaisemiseksi.
- Paranna ennusteen tarkkuutta lisämuuttujilla, kuten ”asiakastyytyväisyyspisteet”, ”asiakkaan vuorovaikutukset” ja ”kilpailijan läsnäolo”.
- Paranna epätasapainoista dataa käyttämällä pienempää ryhmää (vaihdajaa) tai käyttämällä luokkien painotusta antaaksesi vaihda-datalle enemmän huomiota mallin kouluttamisen aikana.
- Siisti tietokanta poistaaksesi epäjohdonmukaisuuksia, poikkeavia arvoja ja puuttuvia arvoja.
- Säädä AUC-kynnysarvoa tasapainottaaksesi tarkkuuden ja takaisinvedon liiketoimintatavoitteiden perusteella.
- Käytä monimutkaisempia mallinnusalgoritmeja, kuten satunnaista metsää tai liukuväristystä, jos lineaariset mallit eivät toimi oikein.
- Kouluta mallia uudelleen päivitetyllä datajoukolla.
