ROC-käyrä

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 11.5.2020 tarkistetusta versiosta . tarkastukset vaativat 42 muokkausta .

ROC-käyrä ( englanniksi  vastaanottimen toimintaominaisuus , vastaanottimen toimintaominaisuus ) - kaavio, jonka avulla voit arvioida binääriluokituksen laatua , näyttää objektien osuuden suhteen ominaisuuden kantoaaltojen kokonaismäärästä, oikein luokiteltuina kantoaaltoina. ominaisuus ( eng.  tosi positiivinen suhde , TPR, jota kutsutaan herkkyyden luokittelualgoritmiksi) ja niiden kohteiden osuus kokonaismäärästä objekteja, joissa ei ole ominaisuutta ja jotka on virheellisesti luokiteltu ominaisuus sisältäviksi ( eng.  false pozitív rate , FPR, 1-FPR:n arvoa kutsutaan luokittelualgoritmin spesifisyydeksi ) muutettaessa päätössäännön kynnystä.

Tunnetaan myös virhekäyränä . Luokittelujen analysointia ROC-käyrien avulla kutsutaan ROC-analyysiksi .

ROC:n kvantitatiivinen tulkinta antaa AUC ( eng.  Area Under Curve , area under the curve ) - alueen, jota rajoittaa ROC-käyrä ja väärien positiivisten luokittelujen osuuden akseli. Mitä suurempi AUC, sitä parempi luokitin, kun taas arvo 0,5 osoittaa valitun luokitusmenetelmän sopimattomuuden (vastaa satunnaista arvausta). Arvo alle 0,5 kertoo, että luokitin toimii juuri päinvastoin: jos positiivisia kutsutaan negatiivisiksi ja päinvastoin, luokitin toimii paremmin.

Peruskonsepti

Pahanlaatuiset kasvaimet ovat klassinen luokitusongelmien sovellus: oireet ilmaantuvat usein, kun sairaus on edennyt parantumattomaksi, ja luotettavat testit ovat erittäin kalliita. Siksi halpoja, vaikkakaan ei niin luotettavia testejä tarvitaan - ja selitämme terveiden ja sairaiden ihmisten esimerkillä.

Luokittelun tehtävänä on osoittaa aiemmin tuntemattomia objekteja tiettyyn luokkaan. Esimerkki tällaisesta tehtävästä voi olla sairauden diagnosointi - sairastuiko potilas ( positiivinen tulos ) vai ei ( negatiivinen tulos ). Sitten luokittelun tuloksena voidaan havaita neljä erilaista tilannetta:

Neljä mahdollista tulostetta voidaan muotoilla ja muotoilla 2 × 2 -varataulukoksi .

Sitten arvoa Sen=TP/(TP+FN), algoritmin kykyä "nähdä" potilaat, kutsutaan todellisten positiivisten herkkyydeksi tai frekvenssiksi , Spe=TN/(TN+FP) on tosi- spesifisyys tai -taajuus. negatiiviset , algoritmin kyky olla pitämättä terveitä ihmisiä sairaana. Näiden virheiden taloudellinen vaikutus on erilainen: väärä negatiivinen potilas tulee laiminlyödyn sairauden kanssa, resursseja käytetään väärän positiivisen lisätutkimukseen. Arvoa 1−Spe=FP/(TN+FP) kutsutaan vääräksi positiiviseksi suhteeksi .

Usein luokitin ei palauta terve-sairas bittiä, vaan jatkuvalla asteikolla olevaa lukua: esimerkiksi 0="ilmeisesti terve", 25="todennäköisesti terve", 50="määrittelemätön", 75="todennäköisesti sairas" ", 100="selvästi sairas". Mutta kaikesta huolimatta tehtyjen päätösten joukko on yleensä rajallinen tai jopa binäärinen: pitäisikö potilas lähettää lisätutkimuksiin? Pitäisikö työntimen toimia, pudottamalla osa konttiin avioliiton kanssa ? Vaihtelemalla vastekynnystä muutamme herkkyyden ja spesifisyyden ominaisuuksia: mitä korkeampi, sitä pienempi toinen.

Muutamalla kynnys arvosta −∞ arvoksi ∞ ja piirtämällä pisteet X=1−Spe ja Y=Sen X,Y-koordinaattiavaruuteen saadaan graafi, jota kutsutaan ROC-käyräksi. Kynnysarvolla −∞ luokittelija luokittelee kaikki potilaat sairaiksi (1−Spe=1, Sen=1). +∞-kynnyksellä kaikki luokitellaan terveiksi (1−Spe=0, Sen=0). Siksi ROC-käyrä menee aina arvosta (0.0) arvoon (1.1).

Jatkuvien satunnaismuuttujien tapaus

Luokittelu perustuu usein jatkuviin satunnaismuuttujiin . Tässä tapauksessa on kätevää kirjoittaa tiettyyn luokkaan kuulumisen todennäköisyys todennäköisyysjakaumafunktioksi riippuen parametrin tietystä kynnysarvosta (raja-arvosta) muodossa ja kuulumattomuuden todennäköisyys muodossa . Sitten väärien positiivisten (vääräpositiivisten nopeus, FPR) ratkaisujen lukumäärä voidaan ilmaista muodossa . Samanaikaisesti tosipositiivisten päätösten lukumäärä (tosi-positiivinen määrä, TPR) voidaan ilmaista muodossa . Kun rakennetaan ROC-käyrä akselia pitkin ja -akselia pitkin  , saadaan parametrin eri arvoilla .

Kuvittele esimerkiksi, että joidenkin proteiinien tasot veressä jakautuvat normaalisti 1 g / dl ja 2 g / dl keskuksilla terveillä ja sairailla ihmisillä . Lääketieteellinen testi voi antaa viitteen minkä tahansa proteiinin tasosta veriplasmassa . Tietyn rajan ylittävää proteiinitasoa voidaan pitää merkkinä sairaudesta . Tutkija voi siirtää reunaa (kuvassa musta pystyviiva), mikä muuttaa väärien positiivisten tulosten määrää. Tuloksena oleva ROC-käyrän muoto riippuu näiden kahden jakauman leikkausasteesta .

Erikoistapaukset

Jos yleinen populaatio on äärellinen (mitä yleensä tapahtuu todellisissa tietojoukoissa), niin kun kynnys t siirtyy arvosta −∞ arvoon ∞, seuraavat tilanteet ovat mahdollisia:

Koska neljännen tapahtuman todennäköisyys on pieni, lopullisen yleisen perusjoukon ROC-käyrä on porrastettu, ja siinä on pieni määrä vinoja segmenttejä, joissa tiedonkeruun ja -käsittelyn virheet antoivat saman tuloksen eri luokkien kohteissa.

Tämän mukaisesti algoritmi ROC-käyrän muodostamiseksi äärelliselle yleisjoukolle on seuraava. Lajittelemme objektit kriteerin arvon mukaan. Otetaan joukko objekteja, joilla on sama kriteeriarvo, lasketaan Sen ja Spe uudelleen ja piirretään segmentti. Jatketaan kunnes esineet loppuvat.

Nollan tai 1:n tuottavan binääriluokittajan ROC-käyrä (esimerkiksi päätöspuu ) näyttää kahdelta segmentiltä (0,0) → (1−Spe,Sen) → (1,1).

Ihannetapauksessa, kun luokitin erottaa täysin yleisen populaation positiiviset ja negatiiviset jäsenet, ensin kaikista vääristä positiivisista tulee todellisia negatiivisia (segmentti (1,1) - (0,1)), sitten kaikista todellisista positiivisista tulee vääriä negatiivisia ( segmentti (0,1)—(0,0)). Eli ihanteellisen luokittelijan ROC-käyrä näyttää kahdelta segmentiltä (0.0) - (0.1) - (1.1) riippumatta siitä, mitä lukuja kriteeri tuottaa ja onko yleinen populaatio äärellinen.

Niillä kynnyksillä t , joissa ROC-käyrä on diagonaalin 1−Spe = Sen alapuolella , kriteeri voidaan kääntää (kaikki alle t voidaan julistaa positiiviseksi) ja luokitin toimii paremmin kuin alun perin: sekä herkkyys että spesifisyys kasvavat. .

Sovellus

ROC-käyriä käytettiin ensimmäisen kerran signaalinkäsittelyn teoriassa Yhdysvalloissa toisen maailmansodan aikana parantamaan vihollisen kohteiden tunnistamisen laatua tutkasignaalista [1] . Pearl Harboriin vuonna 1941 tehdyn hyökkäyksen jälkeen Yhdysvaltain armeija aloitti uuden tutkimuksen , jonka tarkoituksena oli lisätä japanilaisten lentokoneiden tunnistamisen tarkkuutta tutkasignaaleista.

Myöhemmin ROC-käyriä käytettiin laajalti lääketieteellisessä diagnostiikassa [2] [3] [4] . ROC-käyriä käytetään epidemiologiassa ja lääketieteellisessä tutkimuksessa, ja niitä kutsutaan usein samassa yhteydessä kuin näyttöön perustuva lääketiede . Radiologiassa ROC -käyriä käytetään validoimaan ja testaamaan uusia tekniikoita [5] . Yhteiskuntatieteissä ROC -käyriä käytetään arvioimaan todennäköisyysmallien laatua. Käyriä käytetään myös tuotteiden laadunhallinnassa ja luottopisteytyksissä .

Kuten jo todettiin, ROC-käyriä käytetään laajalti koneoppimisessa . Niitä käytettiin tässä yhteydessä ensimmäisen kerran Spakmanin työssä, joka osoitti ROC-käyrien käytön useiden luokitusalgoritmien vertailussa . [6]

Muita käyttötapauksia

Käyrän alla oleva pinta-ala

Normalisoidussa avaruudessa käyrän alla oleva pinta-ala ( AUC - Area Under Curve, AUROC - Area Under Receiver Operating Characteristic ) vastaa todennäköisyyttä , että luokitin antaa enemmän painoa satunnaisesti valitulle positiiviselle kuin satunnaisesti valitulle negatiiviselle. . [7] Tämä voidaan osoittaa seuraavasti: käyrän alla oleva pinta-ala on annettu integraalilla (akselia kierretään miinusmerkillä - suurempi koordinaatin arvo vastaa pienempää parametrin arvoa ): . Kulmasulut osoittavat keskiarvon ottamista.

AUC:n on osoitettu liittyvän läheisesti Mann-Whitneyn U-testiin [8] [9] , joka mittaa, annetaanko positiivisille kohteille enemmän painoa kuin negatiivisille. AUC-arvo liittyy myös Wilcoxon-testiin [9] ja Gini-kertoimeen ( ) seuraavasti: , jossa:

[10] .

AUC - arvoa käytetään usein myös koulutussarjaan perustuvien mallien vertailuun [11] . Joissakin tapauksissa tämän indikaattorin käyttö on kuitenkin vaikeaa, koska AUC on herkkä melulle [12] . Joissakin kirjoissa on myös havaittu lisäongelmia, joita syntyy käytettäessä AUC -arvoa mallien vertailuun [13] [14] . Kuten aiemmin todettiin, käyrän alla olevan alueen arvoa voidaan käyttää todennäköisyyden arvona, jolla satunnaisesti valitulle positiiviselle kokonaisuudelle annetaan suurempi paino kuin satunnaisesti valitulle negatiiviselle. Useissa töissä [12] [13] tehtiin kuitenkin oletuksia siitä, että AUC -arvoista on vaikea saada luotettavia arvioita . Siten AUC -indikaattorin käytännön arvo on asetettu kyseenalaiseksi [14] , mikä osoittaa, että arvo voi usein aiheuttaa enemmän epävarmuutta kuin selkeyttä.

ROC-käyrät ei-binaarisissa luokitusongelmissa

ROC-käyrien laajentaminen luokitteluongelmiin, joissa on enemmän kuin kaksi luokkaa, on aina ollut vaikeuksia täynnä, koska vapausasteiden määrä kasvaa neliöllisesti luokkien lukumäärän mukana ja ROC-avaruudella on mitat , missä  on luokkien määrä. [15] Joitakin käytännön lähestymistapoja on kehitetty myös tapaukseen, jossa luokkien lukumäärä on kolme. [16] ROC-pinnan alla olevaa tilavuutta ( VUS - Volume Under Surface ) pidetään ei-binääristen luokitteluongelmien luokittimien laatumittarina . [17] VUS-muuttujan analyysin monimutkaisuuden vuoksi on kuitenkin kehitetty muita lähestymistapoja [18] , jotka perustuvat VUS -konseptin laajentamiseen .

ROC-käyrien onnistuneen soveltamisen ansiosta luokittimien laadun analysoinnissa on tutkittu ROC-käyrien laajennuksia muihin ohjattuihin oppimisongelmiin . Huomionarvoisia töitä ovat ns. REC-käyrät ( regressiovirheominaisuus - REC-käyrä ) [19] ja RROC-käyrät ( Regression ROC curves ) [20] . On syytä huomata, että RROC-käyrän alla oleva pinta-ala on verrannollinen regressiomallin virhevarianssiin .

Katso myös

Muistiinpanot

  1. ↑ Green, David M.; Swets, John A. Signaalintunnistusteoria ja  psykofysiikka . - New York, NY: John Wiley and Sons Inc., 1966. - ISBN 0-471-32420-5 .
  2. ↑ Zweig, Mark H.; Campbell, Gregory. Vastaanottimen toiminta-ominaisuuksien (ROC) kaaviot: kliinisen lääketieteen perustavanlaatuinen arviointityökalu  (englanniksi)  // Clinical Chemistry : Journal. - 1993. - Voi. 39 , ei. 8 . - s. 561-577 . — PMID 8472349 .
  3. ↑ Pepe, Margaret S. Lääketieteellisten testien tilastollinen arviointi luokittelua ja ennustamista varten  . — New York, NY: Oxford, 2003. — ISBN 0-19-856582-8 .
  4. ↑ Sushkova, käyttöjärjestelmä; Morozov, A.A.; Gabova, A.V.; Karabanov, AV; Illarioshkin, SN Tilastollinen menetelmä tutkivan datan analyysiin, joka perustuu 2D- ja 3D-alueeseen käyräkaavioiden alla: Parkinsonin taudin tutkimus  (englanniksi)  // Sensors : Journal. - MDPI, 2021. - Vol. 21 , ei. 14 . - s. 4700 .
  5. ↑ Obuchowski, Nancy A. Vastaanottimen toimintakäyrät ja niiden käyttö radiologiassa  //  Radiology : Journal. - 2003. - Voi. 229 , nro. 1 . - s. 3-8 . - doi : 10.1148/radiol.2291010898 . — PMID 14519861 .
  6. ↑ Spackman, Kent A. (1989). "Signaalintunnistusteoria: Arvokkaita työkaluja induktiivisen oppimisen arviointiin". Kuudennen kansainvälisen koneoppimistyöpajan julkaisut . San Mateo, CA: Morgan Kaufmann . s. 160-163.
  7. ↑ Fawcett, Tom (2006); Johdatus ROC-analyysiin , Pattern Recognition Letters, 27, 861-874.
  8. ↑ Hanley, James A.; McNeil, Barbara J. Vastaanottimen toimintaominaisuuskäyrän (ROC) alla olevan alueen merkitys ja käyttö  //  ​​Radiology : Journal. - 1982. - Voi. 143 . - s. 29-36 . — PMID 7063747 .
  9. ↑ 1 2 Mason, Simon J.; Graham, Nicholas E. Alueet suhteellisten käyttöominaisuuksien (ROC) ja suhteellisten käyttötasojen (ROL) alapuolella: Tilastollinen merkitys ja tulkinta  // Quarterly  Journal of the Royal Meteorological Society : päiväkirja. - 2002. - Ei. 128 . - s. 2145-2166 .
  10. ↑ Käsi, David J.; ja Till, Robert J. (2001); Yksinkertainen yleistys ROC-käyrän alla olevasta alueesta useille luokkaluokitusongelmille , Machine Learning, 45, 171-186.
  11. ↑ Hanley, James A.; McNeil, Barbara J. Menetelmä samoista tapauksista johdettujen toiminnan ominaiskäyrien alaisten alueiden vertailuun  //  Radiology : Journal. - 1983. - 1. syyskuuta ( nide 148 , nro 3 ). - s. 839-843 . — PMID 6878708 .
  12. ↑ 1 2 Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; ja Dougherty, Edward R. (2010); Pienen otoksen tarkkuus ROC:iin liittyvistä arvioista , Bioinformatics 26(6): 822-830
  13. ↑ 1 2 Lobo, Jorge M.; Jimenez-Valverde, Alberto; ja Real, Raimundo (2008), AUC: harhaanjohtava mitta ennustavien jakautumismallien tehokkuudesta , Global Ecology and Biogeography, 17: 145-151
  14. ↑ 1 2 Hand, David J. (2009); Luokittimen suorituskyvyn mittaaminen: yhtenäinen vaihtoehto ROC-käyrän alla olevalle alueelle , Machine Learning, 77: 103-123
  15. ↑ Srinivasan, A. (1999). "Huomautus optimaalisten luokittimien sijainnista N-ulotteisessa ROC-avaruudessa". Tekninen raportti PRG-TR-2-99, Oxford University Computing Laboratory, Wolfson Building, Parks Road, Oxford .
  16. ↑ Mossman, D. Kolmisuuntaiset ROC:t  (määrittelemätön)  // Lääketieteellinen päätöksenteko. - 1999. - T. 19 . - S. 78-89 . doi : 10.1177 / 0272989x9901900110 .
  17. ↑ Lautta, C.; Hernandez Orallo, J.; Salido, M.A. (2003). "Volume under the ROC Surface for Multi-class Problems". Koneoppiminen: ECML 2003 . s. 108-120.
  18. ↑ Till, DJ; Hand, RJ Yksinkertainen yleistys ROC-käyrän alla olevasta alueesta useille luokitusongelmille  //  Machine Learning : Journal. - 2012. - Vol. 45 . - s. 171-186 .
  19. ↑ Bi, J.; Bennett, KP (2003). "Regressiovirheen ominaiskäyrät". Kahdeskymmenes kansainvälinen koneoppimiskonferenssi (ICML-2003). Washington, DC .
  20. ↑ Hernandez-Orallo, J. ROC-käyrät regressiolle  (indefinite)  // Pattern Recognition. - 2013. - T. 46 , nro 12 . - S. 3395-3411. . - doi : 10.1016/j.patcog.2013.06.014 .
  Siirry Wikidata-kohteeseen  Sanakirjat ja tietosanakirjat
Bibliografisissa luetteloissa