Loading
About Salesforce Data 360
Binääriluokituksen tilastot

Olet tässä:

  1. Salesforce-ohje
  2. Asiakirja
  3. Data 360

Binääriluokituksen tilastot

Binääriluokituksen tilastot auttavat arvioimaan mallin suorituskykyä, joka luokittelee tiedot kahteen luokkaan.

Tarkkuus

Kokonaistarkkuuspisteiden lisäksi AUC-arvon avulla on kaksi lisätilastoa, joilla voit ymmärtää binääriluokittelumallin tarkkuuden.

Mallin tarkkuuden ruutu

Tarkasta, kuinka usein malli tekee oikeita ja vääriä ennusteita (1). Katso kynnysarvon päättymispiste, joka osoittaa, miten ennusteet luokitellaan luokkien välillä (2).

Sekaannusmatriisi

Käytä sekaannusmatriisia arvioidaksesi eri virhetyyppien välisiä kompromisseja kynnysarvon perusteella. Kaavio näyttää, montako kertaa malli luokittelee observaatiot oikein ja väärin niihin liittyvän kynnysarvon perusteella.

Hämmennyksen matriisikaavio

ROC-käyrä

Receiver Operating Characteristic (ROC) -käyrä näyttää suorituskykymittauksen useissa kynnysarvoasetuksissa. ROC on todennäköisyyskäyrä ja AUC (käyrän alla oleva alue) näyttää erotuskyvyn asteen tai mitan. Käytä kaaviota nähdäksesi, miten tehokkaasti malli voi erottaa eri luokat toisistaan.

ROC-käyräkaavio

Saanti ja nosto

Saanti- ja Korotus-kaaviot näyttävät mallin hyödyt. Kaaviot mittaavat mallilla saatuja tuloksia verrattaessa satunnaiseen arvailuun ilman mallia käyttämällä osaa datasta, joka on pisteytetty ja järjestetty analyysiä varten. Mitä suurempi gain ja korkeampi Lift, sitä tehokkaampi malli.

ROC-käyräkaavio

Kaavio Kuvaus
Saanti

Saanti-kaavio näyttää positiivisen kokonaissuhteen, eli saanti, datan prosenttiosuuden perusteella. Mitä lähempänä mallin rivi on teoreettista tarkkuutta (täydellinen malli) ja mitä kauempana se on satunnaisesta arvailusta (ei mallia), sitä suurempi hyöty. Gain-arvoa voidaan käyttää organisaatiosi resurssien priorisointiin.

Jos mallilla on esimerkiksi 80 % parannus 20 % datasta, 80 % tavoitteesta voidaan saavuttaa 20 % datasta.
Palkkio

Nostokaavio näyttää parannussuhteen, eli nostosuhteen, datan prosenttiosuuden perusteella. Paremmilla malleilla on korkeammat nostot.

Jos mallilla on esimerkiksi 2,5 ja 20, mallin tulokset ovat 2,5 kertaa parempia datan 20 prosentissa kuin ilman mallia.

4-kertaisen ristiinvalidoinnin tulokset

4-kertainen ristiinvalidointitapa vähentää näytteen vinoumia mallin vahvistusprosessin aikana. Tässä menetelmässä data jaetaan satunnaisesti neljään erilliseen, yhtä suureen osioon, ja malli läpäisee neljä testiä (kerroksia). Jokaisen kulun aikana kolme osiota toimivat koulutusdatana, kun taas loput toimivat testidatana. Kun olet suorittanut neljä testikulkua, kutakin osiota käytetään kerran vahvistustiedoina ja kolme kertaa osana koulutusdataa, mikä varmistaa kattavan arvioinnin. Tutustu vahvistuksen tulosten taulukkoon tarkastellaksesi datan jokaiselle kerrokselle vastaavia tilastoja.

Ristiinvahvistuksen tilastot -taulukko

Mittataulukko Kuvaus
Tietueiden määrä

Observaatioiden kokonaismäärä. Arvon tarkoitus vaihtelee sarakkeen mukaan.

  • Koulutustiedot- ja Vahvistustiedot-sarakkeet ovat samoja numeroita. Tämä arvo edustaa observaatioiden kokonaismäärää mallin luomiseen käytetyssä datassa.
  • Tämä arvo osoittaa Fold#1-Fold#4-sarakkeille, kuinka monta observaatiota laskettiin kyseiseen taittoon (noin 25 % koko datasta).
AUC

Käyrän alla oleva alue (AUC) edustaa logistiikkamallin luokittelun onnistumissuhdetta.

  • 0,5 tarkoittaa, että malli toimii yhtä hyvin kuin satunnainen arvailu.
  • 1.0 tarkoittaa, että malli luokittelee datan oikein 100 % ajasta, mikä voi tarkoittaa datavuotoa.
GINI Gini-indeksi mittaa, miten hyvin tämä logistinen malli toimii parhaalla mahdollisella mallilla.

Muut tilastot

Ota huomioon muut tilastot, joita käytetään tavallisesti mallin laadun arvioimiseen.

Mittataulukko Kuvaus
Tarkkuus

Tarkkuus mittaa lopputulosten määrää, jonka malli ennusti oikein (todelliset positiiviset ja todelliset negatiiviset).

  • Käytä arvioidaksesi mallin luokittelun yleistä suorituskykyä.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa (True Negative+True Positive)/(True Negative+False Negative+True Positive+False Positive).
F1 Pistemäärä

F1-pisteet ovat positiivisen ennustearvon (tarkkuus) ja todellisen positiivisen suhteen (peruuta) harmoninen keskiarvo.

  • Käytä arvioidaksesi binääriluokittelumallin yleistä suorituskykyä, varsinkin kun on yhtä tärkeää minimoida vääriä positiivisia ja vääriä negatiivisia.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa 2*(Positive Predicted Value*True Positive Rate)/(Positive Predicted Value+True Positive Rate).
Epätosi-negatiiviset Todellisesti positiivisten ennustettujen negatiivien määrä.
Virheellisten negatiivisten suhde

Epätosi-negatiivinen suhde (FNR, jota kutsutaan myös tyypin II virheeksi tai epäonnistumisasteeksi) on ennustettujen epätosi-negatiivisten osuus kaikista todellisista positiivisista.

  • Käytä arvioidaksesi, kuinka usein luokittelumalli luokittelee positiiviset arvot negatiivisiksi, tai kun on tärkeää minimoida vääriä negatiivisia virheitä.
  • Asteikko on 0–1, ja alhaisempi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa False Negative/(False Negative+True Positive).
Epätosi positiiviset Todellisesti negatiivisten positiivisten ennusteiden määrä.
Virheellisten positiivisten suhde

Epätosi positiivinen -suhde (FPR, jota kutsutaan myös tyypin I virheeksi, epätosi hälytyksen suhteeksi tai fallout) on ennustettujen epätosi positiivisten arvojen määrä kaikista todellisista negatiivisista arvoista.

  • Käytä arvioidaksesi, kuinka usein luokittelumalli luokittelee negatiiviset arvot positiivisiksi, tai kun on tärkeää minimoida vääriä positiivisia virheitä.
  • Asteikko on 0–1, ja alhaisempi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa False Positive/(False Positive+True Negative).
Käyttövalmius

Informedness (jota kutsutaan myös Youdenin J-tilastoksi) mittaa, kuinka hyvin malli ennustaa sekä positiivisia että negatiivisia.

  • Käytä arvioidaksesi binääriluokittelumallin yleistä suorituskykyä, varsinkin kun on yhtä tärkeää luokitella todelliset positiiviset ja todelliset negatiiviset.
  • Alue on väliltä -1–1, jossa 1 tarkoittaa täydellistä suorituskykyä, 0 tarkoittaa satunnaista suorituskykyä ja -1 tarkoittaa täydellistä käänteistä suorituskykyä.
  • Se lasketaan muodossa True Positive Rate+True Negative Rate-1.
Merkitsevyys

Merkitsevyys mittaa mallin positiivisten ja negatiivisten ennusteiden luotettavuutta.

  • Käytä arvioidaksesi binääriluokittelumallin kokonaissuorituskykyä, varsinkin kun on tärkeää arvioida positiivisten ja negatiivisten arvojen suorituskyky erikseen.
  • Alue on väliltä -1–1, jossa 1 tarkoittaa täydellistä suorituskykyä, 0 tarkoittaa satunnaista suorituskykyä ja -1 tarkoittaa täydellistä käänteistä suorituskykyä.
  • Se lasketaan muodossa Positive Predicted Value+Negative Predicted Value-1.
MCC

Matthewsin korrelaatiokerroin (MCC) tarjoaa tasaisemman kuvan sekaantummatriisin neljästä osasta kuin muut tilastot.

  • Käytä arvioidaksesi kokonaissuorituskykyä, varsinkin jos dataa on epätasapainoista.
  • Alue on väliltä -1–1, jossa 1 tarkoittaa täydellistä suorituskykyä, 0 tarkoittaa satunnaista suorituskykyä ja -1 tarkoittaa täydellistä käänteistä suorituskykyä.
  • Se lasketaan muodossa (True Positive*True Negative-False Positive*False Negative )/square root((True Positive+False Positive)*(True Positive+False Negative)*(True Negative+False Positive)*(True Negative+False Negative)).
Negatiivinen ennuste-arvo

Negatiivinen ennustearvo (NPV) on todellisten negatiivisten arvojen osuus kaikista ennustetuista negatiivisista arvoista.

  • Käytä arvioidaksesi, kuinka hyvin luokittelumalli ennustaa negatiivisia esiintymiä tai milloin on tärkeää minimoida vääriä negatiivisia.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa True Negative/(True Negative+False Negative).
Positiivinen ennustearvo (Tarkkuus)

Positiivinen ennustearvo (PPV, jota kutsutaan myös tarkkuudeksi) on todellisten positiivisten osuus kaikista ennustetuista positiivisista.

  • Käytä arvioidaksesi, kuinka hyvin luokittelumalli ennustaa positiivisia esiintymiä tai kun on tärkeää minimoida vääriä positiivisia.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa True Positive/(True Positive+False Positive).
Tosi negatiiviset Todellisesti negatiivisten ennustettujen negatiivien määrä.
Tosi negatiivinen suhde (tieto)

Todellinen negatiivinen suhde (TNR, jota kutsutaan myös spesifisyydeksi) on ennustettujen negatiivisten osuus kaikista todellisista negatiivisista.

  • Käytä arvioidaksesi, kuinka usein luokittelumalli luokittelee negatiiviset arvot oikein tai milloin on tärkeää tunnistaa negatiiviset esiintymät oikein.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa True Negative/(True Negative+False Positive).
Tosi positiiviset Todellisia positiivisia ennustettujen positiivisten määrä.
Tosi positiivinen suhde (luottamuksellisuus, takaisinveto)

Tosi positiivinen -suhde (TPR, jota kutsutaan myös luottamuksellisuudeksi tai peruutukseksi) on ennustettujen positiivisten osuus kaikista todellisista positiivisista.

  • Käytä arvioidaksesi, kuinka usein luokittelumalli luokittelee positiiviset arvot oikein tai milloin on tärkeää tunnistaa positiiviset esiintymät oikein.
  • Asteikko on 0–1, ja korkeampi arvo osoittaa parempaa suorituskykyä.
  • Se lasketaan muodossa True Positive/(True Positive+False Negative).
 
Ladataan
Salesforce Help | Article